近日，信通院發(fā)布《人工智能數據安全白皮書(2019)》，其中提到“數據投毒”，這是人工智能自身數據安全風險，即通過在訓練數據里加入偽裝數據、惡意樣本等行為可破壞數據的完整性，進而導致訓練的算法模型決策出現偏差。

圖片來自“Unsplash”

隨著人工智能技術的不斷發(fā)展，尤其是各類人工智能應用在各行各業(yè)落地，人工智能的安全風險問題也開始受到全社會的關注。人工智能究竟會帶來哪些安全風險?中國信息通信研究院近日發(fā)布了《人工智能數據安全白皮書(2019)》(以下簡稱“白皮書”)，指出了人工智能面臨的幾大數據安全風險。

“數據投毒”不容忽視

白皮書認為，人工智能訓練數據污染可導致人工智能決策錯誤?！皵祿抖尽蓖ㄟ^在訓練數據里加入偽裝數據、惡意樣本等行為可破壞數據的完整性，進而導致訓練的算法模型決策出現偏差。

“數據投毒”主要有兩種攻擊方式：

一種是采用模型偏斜方式，主要攻擊目標是訓練數據樣本，通過污染訓練數據達到改變分類器分類邊界的目的;

另一種則是采用反饋誤導方式，主要攻擊目標是人工智能的學習模型本身，利用模型的用戶反饋機制發(fā)起攻擊，直接向模型“注入”偽裝的數據或信息，誤導人工智能做出錯誤判斷。

“數據投毒”危害巨大。在自動駕駛領域，“數據投毒”可導致車輛違反交通規(guī)則甚至造成交通事故;在軍事領域，通過信息偽裝的方式可誘導自主性武器啟動或攻擊，從而帶來毀滅性風險。

運行階段的數據異?？蓪е轮悄芟到y運行錯誤。

指出，運行階段的數據異?？蓪е轮悄芟到y運行錯誤，同時，模型竊取攻擊可對算法模型的數據進行逆向還原。此外，開源學習框架存在安全風險，也可導致人工智能系統數據泄露。

AI應用催生新風險

在分析了人工智能自身數據安全風險之后，白皮書對于人工智能應用導致的數據安全風險也進行了解讀。

白皮書指出，人工智能應用可導致個人數據過度采集，加劇隱私泄露風險。隨著各類智能設備(如智能手環(huán)、智能音箱)和智能系統(如生物特征識別系統、智能醫(yī)療系統)的應用普及，人工智能設備和系統對個人信息采集更加直接與全面。相較于互聯網對用戶上網習慣、消費記錄等信息采集，人工智能應用可采集用戶人臉、指紋、聲紋、虹膜、心跳、基因等具有強個人屬性的生物特征信息。這些信息具有唯一性和不變性，一旦被泄露或者濫用會對公民權益將造成嚴重影響。

雖然人工智能的普及，給人們帶來了更多的便利;但是白皮書認為，人工智能放大數據偏見歧視影響，威脅社會公平正義，人工智能技術的數據深度挖掘分析也將加劇數據資源濫用現象的發(fā)生，將加大社會治理和國家安全挑戰(zhàn)。具體而言，一是在社會消費領域，可帶來差異化定價;二是在信息傳播領域，可引發(fā)“信息繭房”效應。

與此同時，人工智能技術也能夠提升網絡攻擊的智能化水平，進而進行數據智能竊取。白皮書認為，一是人工智能可用來自動鎖定目標，進行數據勒索攻擊。人工智能技術可通過對特征庫學習自動查找系統漏洞和識別關鍵目標，提高攻擊效率。二是人工智能可自動生成大量虛假威脅情報，對分析系統實施攻擊。人工智能通過使用機器學習、數據挖掘和自然語言處理等技術處理安全大數據，能自動生產威脅性情報，攻擊者也可利用相關技術生成大量錯誤情報以混淆判斷。三是人工智能可自動識別圖像驗證碼，能夠竊取系統數據。圖像驗證碼是一種防止機器人賬戶濫用網站或服務的常用驗證措施，通過解決視覺難題來驗證人類用戶，以有效區(qū)分攔截惡意程序，保護系統數據安全。

數據治理挑戰(zhàn)加劇

白皮書指出，人工智能提升了數據資源價值，使得數據權屬問題更為突出。從個人層面上看，數據權屬體現為公民的數據權利，個人隱私保護面臨挑戰(zhàn)。用戶個人隱私信息含金量高，是人工智能技術與產業(yè)發(fā)展的重要驅動，然而相關機構在利用用戶數據時往往忽視用戶個人隱私權益。從行業(yè)層面上看，數據權屬體現為企業(yè)的數據產權，數據壟斷損害行業(yè)整體發(fā)展。人工智能技術使數據經濟價值越發(fā)凸顯，數據已成為企業(yè)的核心資產，相關企業(yè)積極儲備數據資源，并阻止競爭對手獲得數據，力圖壟斷數據資源來使企業(yè)利益最大化。

白皮書認為，數據產權之爭將加劇數據壟斷。一方面，科技巨頭依托網絡覆蓋和用戶規(guī)模，加強數據匯聚;另一方面，人工智能中小企業(yè)獲取數據的渠道受限，數據資源匱乏。企業(yè)在數據產權沒有被廣泛認可、以及數據流動環(huán)節(jié)存在安全風險的前提下，無論是從維護自身利益角度還是從遵守法律法規(guī)角度出發(fā)，都不愿將自身數據進行共享，這將導致初創(chuàng)企業(yè)和研究機構在算法設計和優(yōu)化過程中無數據可用，損害我國人工智能行業(yè)整體發(fā)展。

當前，隨著人工智能在科技競爭中的戰(zhàn)略地位日漸凸顯，數據的違規(guī)跨境將直接影響國家安全。白皮書顯示，目前，世界主要國家都制定了人工智能發(fā)展戰(zhàn)略，對數據的依賴度快速提升，數據作為國家基礎性戰(zhàn)略資源的地位更加突出。為快速積累數據，科技企業(yè)通過向消費者提供特定領域免費應用、使用政府公開數據以及進行產業(yè)上下游數據協同等方式獲取盡可能多的數據。以Facebook、谷歌為代表的美國科技巨頭，依托其龐大用戶規(guī)模和強大數據抓取工具，在全球范圍內進行數據收集，強化數據資源優(yōu)勢，推進自身人工智能發(fā)展，這無疑將加劇數據違規(guī)跨境流動風險。