（文章來源：千家網(wǎng)）

訓練數(shù)據(jù)污染可導致人工智能決策錯誤。數(shù)據(jù)投毒通過在訓練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等破壞數(shù)據(jù)的完整性，進而導致訓練的算法模型決策出現(xiàn)偏差。

數(shù)據(jù)投毒主要有兩種攻擊方式：一種是采用模型偏斜方式，主要攻擊目標是訓練數(shù)據(jù)樣本，通過污染訓練數(shù)據(jù)達到改變分類器分類邊界的目的。例如，模型偏斜污染訓練數(shù)據(jù)可欺騙分類器將特定的惡意二進制文件標記為良性。

另外一種是采用反饋誤導方式，主要攻擊目標是人工智能的學習模型本身，利用模型的用戶反饋機制發(fā)起攻擊，直接向模型“注入”偽裝的數(shù)據(jù)或信息，誤導人工智能做出錯誤判斷。隨著人工智能與實體經(jīng)濟深度融合，醫(yī)療、交通、金融等行業(yè)訓練數(shù)據(jù)集建設需求迫切，這就為惡意、偽造數(shù)據(jù)的注入提供了機會，使得從訓練樣本環(huán)節(jié)發(fā)動網(wǎng)絡攻擊成為最直接有效的方法，潛在危害巨大。在自動駕駛領域，數(shù)據(jù)投毒可導致車輛違反交通規(guī)則甚至造成交通事故；在軍事領域，通過信息偽裝的方式可誘導自主性武器啟動或攻擊，從而帶來毀滅性風險。

運行階段的數(shù)據(jù)異?？蓪е轮悄芟到y(tǒng)運行錯誤。一是人為構造對抗樣本攻擊，導致智能系統(tǒng)產(chǎn)生錯誤的決策結果。人工智能算法模型主要反映了數(shù)據(jù)關聯(lián)性和特征統(tǒng)計，而沒有真正獲取數(shù)據(jù)因果關系。針對算法模型這一缺陷，對抗樣本通過對數(shù)據(jù)輸入樣例添加難以察覺的擾動，使算法模型以高置信度給出一個錯誤的輸出。對抗樣本攻擊可實現(xiàn)逃避檢測，例如在生物特征識別應用場景中，對抗樣本攻擊可欺騙基于人工智能技術的身份鑒別、活體檢測系統(tǒng)。

2019年4月，比利時魯汶大學研究人員發(fā)現(xiàn)，借助一張設計的打印圖案就可以避開人工智能視頻監(jiān)控系統(tǒng)。二是動態(tài)環(huán)境的非常規(guī)輸入可導致智能系統(tǒng)運行錯誤。人工智能決策嚴重依賴訓練數(shù)據(jù)特征分布性和完備性，人工標記數(shù)據(jù)覆蓋不全、訓練數(shù)據(jù)與測試數(shù)據(jù)同質(zhì)化等塬因常常導致人工智能算法泛化能力差，智能系統(tǒng)在動態(tài)環(huán)境實際使用中決策可能出現(xiàn)錯誤。特斯拉汽車自動駕駛系統(tǒng)曾因無法識別藍天背景下的白色貨車，致使發(fā)生致命交通事故。

模型竊取攻擊可對算法模型的數(shù)據(jù)進行逆向還塬。人工智能算法模型的訓練過程依托訓練數(shù)據(jù)，并且在運行過程中會進一步采集數(shù)據(jù)進行模型優(yōu)化，相關數(shù)據(jù)可能涉及到隱私或敏感信息，所以算法模型的機密性非常重要。但是，算法模型在部署應用中需要將公共訪問接口發(fā)布給用戶使用，攻擊者可通過公共訪問接口對算法模型進行黑盒訪問，依據(jù)輸入信息和輸出信息映射關系，在沒有算法模型任何先驗知識（訓練數(shù)據(jù)、模型參數(shù)等）情況下，構造出與目標模型相似度非常高的模型，實現(xiàn)對算法模型的竊取，進而還塬出模型訓練和運行過程中的數(shù)據(jù)以及相關隱私信息。

新加坡國立大學RezaShokri等針對機器學習模型的隱私泄露問題，提出了一種成員推理攻擊，在對模型參數(shù)和結構知之甚少的情況下，可以推斷某一樣本是否在模型的訓練數(shù)據(jù)集中。

人工智能開源學習框架實現(xiàn)了基礎算法的模塊化封裝，可以讓應用開發(fā)人員無需關注底層實現(xiàn)細節(jié)，大大提高了人工智能應用的開發(fā)效率。谷歌、微軟、亞馬遜、臉書等企業(yè)都發(fā)布了自己的人工智能學習框架，在全球得到廣泛應用。但是，人工智能開源學習框架集成了大量的第叁方軟件包和依賴庫資源，相關組件缺乏嚴格的測試管理和安全認證，存在未知安全漏洞。近年來，360、騰訊等企業(yè)安全團隊曾多次發(fā)現(xiàn)TensorFlow、Caffe、Torch等深度學習框架及其依賴庫的安全漏洞，攻擊者可利用相關漏洞篡改或竊取人工智能系統(tǒng)數(shù)據(jù)。