生成人工智能的采用正在加快步伐。僅僅10個月前相比,執(zhí)行率翻了一番,65%的受訪者說他們的公司經(jīng)常使用AI。對現(xiàn)有企業(yè)產(chǎn)生破壞性影響的承諾--或以新的和更有利可圖的方式向市場提供服務(wù)--正在推動這方面的許多興趣。然而,許多采用者還沒有意識到眼前的安全風(fēng)險。

為了向軟件開發(fā)人員和安全架構(gòu)師提供實際操作指導(dǎo),OWASP前10指南列出了安全實施依賴LLMS的GEI應(yīng)用程序的最佳做法。通過明確指出迄今為止在LLMS中看到的最關(guān)鍵的弱點,預(yù)防成為一項簡單的任務(wù)。

然而,圍繞安全AI開發(fā)的最大挑戰(zhàn)不僅僅是知道可能存在問題--在任何大型軟件部署中都是如此。相反,它涉及的是如何幫助彌合跨功能團隊中存在的跨越開發(fā)、安全和業(yè)務(wù)團隊的差距。使用owasp前10名,開發(fā)人員和安全專業(yè)人員可以協(xié)作繪制出他們在整個AI應(yīng)用程序中的職責(zé),然后與業(yè)務(wù)團隊一致,說明這些控件的重要性。

從技術(shù)安全角度來看,Cisos也可以更好地了解與AI應(yīng)用程序相關(guān)的潛在業(yè)務(wù)風(fēng)險以及對其基礎(chǔ)設(shè)施的攻擊。這些攻擊有的是利用"傳統(tǒng)"軟件缺陷,而這些缺陷必須加以補救,有的則是劫持和濫用LLS服務(wù)帳戶,這可能使組織每天損失數(shù)萬美元。對于CISO,當(dāng)如此多的眼睛注視著這些潛在的變革項目時,向董事會和企業(yè)解釋風(fēng)險是至關(guān)重要的。實際上,交付的壓力很大,風(fēng)險越來越大;從一開始就應(yīng)涉及安全問題。

今天面臨風(fēng)險的10強是什么?

1. 即時注射: 攻擊者如何操縱LLM來執(zhí)行影響輸出安全性的意外或危險行為

2. 不安全輸出處理: 類似于更傳統(tǒng)的安全故障,如跨站點腳本(XSS)、跨站點請求偽造(csrf)和代碼執(zhí)行,這些故障發(fā)生在LLS對后端系統(tǒng)沒有適當(dāng)?shù)陌踩詴r

3. 培訓(xùn)數(shù)據(jù)中毒: 當(dāng)用于培訓(xùn)LLM的數(shù)據(jù)集包括可利用的漏洞時

4. 拒絕服務(wù)的模式: 當(dāng)攻擊者采取的行動是資源密集型的,導(dǎo)致業(yè)績不佳或?qū)κ芎φ呓M織造成重大損失時

5. 供應(yīng)鏈脆弱性: 在更傳統(tǒng)的軟件組件或服務(wù)中出現(xiàn)并可在攻擊中加以利用的脆弱性;LLS應(yīng)用程序越復(fù)雜,它越有可能隨著時間的推移而修復(fù)弱點

6. 敏感信息披露: 法律管理人可能披露不應(yīng)公開的信息的事件;為防止這種情況,確保在使用培訓(xùn)和生產(chǎn)數(shù)據(jù)之前對其進行消毒

7. 不安全插件設(shè)計: 可能的問題是插件不能保護LLM不受未經(jīng)授權(quán)的訪問或不安全的輸入的影響,這可能導(dǎo)致遠程代碼執(zhí)行等問題

8. 過多的代理: 當(dāng)LML可以執(zhí)行更多的操作或擁有更多的權(quán)限時,它就會執(zhí)行不允許執(zhí)行的任務(wù)

9. 過度依賴: 如果使用者依靠法律信息管理,而沒有對內(nèi)容進行適當(dāng)檢查;這可能導(dǎo)致幻覺、潛在的錯誤信息,甚至法律問題

10. 模型盜竊: 當(dāng)攻擊者訪問、復(fù)制或竊取專有LOM模型時

為了執(zhí)行適當(dāng)?shù)陌踩胧?為執(zhí)行熱奈應(yīng)用程序,開發(fā)人員應(yīng)該與安全團隊接觸,并進行威脅模型演習(xí),以更好地了解所涉及的潛在風(fēng)險。

增加AI的安全性

要部署GEAI,開發(fā)人員有兩個選擇:他們可以采用一個服務(wù)來填補他們應(yīng)用程序中的空白,或者他們可以選擇特定的組件并構(gòu)建一個完整的AI管道。對于那些希望使用自己的數(shù)據(jù)來通知自己的AI應(yīng)用程序的企業(yè)來說,運行一堆人工智能組件,使它們能夠更容易地個性化他們的應(yīng)用程序?qū)⑹且粋€優(yōu)勢。這些組件通常是云型的,在集裝箱化體系結(jié)構(gòu)上運行,因為它們可能需要大量的計算實例和存儲來操作。

通常情況下,AI部署使用像庫伯內(nèi)特斯這樣的協(xié)調(diào)工具來有效地管理工作負載。庫伯內(nèi)特斯使得部署和擴展杰奈變得更容易,但它也帶來了組織必須考慮的更復(fù)雜的安全風(fēng)險。在云平臺上運行的集裝箱化AI模型與傳統(tǒng)的現(xiàn)場部署甚至其他云化的集裝箱化環(huán)境有著非常不同的安全問題。由于管道中涉及如此多的移動部件,而且這些元素中的許多相對較新且發(fā)展較快,從一開始就有正確的安全洞察力是至關(guān)重要的。

安全團隊的第一步是了解每個AI應(yīng)用程序中包含哪些組件，同時覆蓋數(shù)據(jù)、應(yīng)用程序組件和基礎(chǔ)設(shè)施。這應(yīng)該是他們整體IT資產(chǎn)庫存的一部分，這樣他們就可以將任何現(xiàn)有的AI服務(wù)、工具和所有者分類在一個地方，并保持最新的記錄。這種方法也可以用于為其人工智能系統(tǒng)創(chuàng)建一個軟件材料清單(SBOM)，其中包括所有相關(guān)的組件。一個AISbom生成了一個完整的清單,列出了所有的軟件組件、依賴項和元數(shù)據(jù),這些都與一個GEAI工作負載相關(guān),然后他們可以跟蹤這個列表來跟蹤隨著時間的推移而需要的任何更改。基于人工智能數(shù)據(jù)源所包含的數(shù)據(jù)的敏感性,他們也可以對其人工智能數(shù)據(jù)源采用同樣的方法。對于一般數(shù)據(jù)--比如產(chǎn)品目錄、網(wǎng)站頁面或標(biāo)準(zhǔn)支持材料--信息可以被評為公共信息,并被任何人使用。對于包括知識產(chǎn)權(quán)、個人可識別信息(PII)或其他必須保持安全的更敏感數(shù)據(jù),它們可以分配不同級別的安全訪問。這將有助于團隊根據(jù)其風(fēng)險嚴(yán)重程度以及這些工作負載可能使用的數(shù)據(jù),對其AI工作量的安全性進行優(yōu)先排序。

態(tài)勢管理

雖然實現(xiàn)人工智能的安全性至關(guān)重要,但為了遵守和報告,也必須有實施的證據(jù)。確保系統(tǒng)符合OWASP前10是應(yīng)該定期確認的事情,這樣部署就可以在一段時間內(nèi)保持安全。這包括定期審計概述的技術(shù)各個方面,并檢查是否遵循了共同的安全任務(wù),但也涉及業(yè)務(wù)流程和工作流方面。

安全和開發(fā)團隊可以通過將其組織的LLM安全戰(zhàn)略與人工智能系統(tǒng)的對抗性威脅環(huán)境相結(jié)合來實現(xiàn)這一點框架。這將有助于團隊從其他應(yīng)用程序和軟件安全需求(如API周圍的需求)以及可能存在的其他安全漏洞的上下文中查看它們的熱奈安全性。雖然LLMS的OWASP前10提供了在哪些地方加強熱奈應(yīng)用程序和LLM系統(tǒng)抵御攻擊的指導(dǎo),但是米特爾阿特拉斯可以用來理解攻擊者在他們的偵察或攻擊過程中可能創(chuàng)建的標(biāo)志。通過尋找威脅行為者的策略、技術(shù)和程序的證據(jù),組織可以更積極主動地采取行動。

硬化系統(tǒng)涉及提前思考

像熱奈這樣的新系統(tǒng)需要新的安全模型和關(guān)于如何在攻擊者面前保持領(lǐng)先的新思維。然而,在急于實現(xiàn)這些新應(yīng)用程序所設(shè)定的業(yè)務(wù)目標(biāo)時,很容易忽略安全應(yīng)該發(fā)揮的作用。

像OWASP的LLMS前10這樣的框架幫助每個人了解存在的潛在風(fēng)險,并將這些準(zhǔn)則應(yīng)用于特定的應(yīng)用。然而,AI的工作負載并不是單獨運行的--它們可能存在于由Kubernets精心設(shè)計并在云上運行的軟件容器中。庫伯內(nèi)特斯面臨著類似于熱奈的問題,因為它仍然是一種非常新的技術(shù),而且整個行業(yè)的安全最佳做法還不完善。對這些平臺中的每個平臺使用OWASP的指導(dǎo)可以更容易地建模潛在的威脅并保護所涉及的每一層基礎(chǔ)設(shè)施。

清晰和可審計的安全性流程可以改進合規(guī)性報告、減少威脅和圍繞應(yīng)用程序更新的工作流程。它們還改進了部署應(yīng)用程序的更廣泛方法,確保云安全控制、流程和程序減少了對不斷變化的威脅的潛在暴露。