【產(chǎn)業(yè)鏈圖譜 | 人工智能產(chǎn)業(yè)鏈圖譜_人工智能產(chǎn)業(yè)鏈全景圖】

【研究報告 | 人工智能行業(yè)研究報告】

　　黑客入侵15萬個AI攝像頭

　　3月10日消息，一群黑客自曝入侵了美國硅谷初創(chuàng)公司Verkada采集的大量安全攝像機數(shù)據(jù)，并盜取了15萬個監(jiān)控攝像頭實時視頻。

　　電動汽車公司特斯拉、軟件供應(yīng)商Cloudflare也紛紛躺槍，視頻慘遭曝光。一段在特斯拉上海倉庫的被泄露視頻顯示，工人們在裝配線上工作。

　　黑客號稱已入侵特斯拉工廠和倉庫的222個攝像頭。他們不僅能看到Verkada辦公室內(nèi)的視頻，還能獲取這家創(chuàng)企所有客戶的完整視頻檔案、財務(wù)報表等其他信息。

　　Verkada成立于2016年，主業(yè)是銷售安全攝像頭，客戶可以通過網(wǎng)絡(luò)對其進(jìn)行訪問和管理。除了能錄制視頻外，其攝像頭還能利用先進(jìn)的AI視覺技術(shù)，分辨出視頻中的人臉和車輛，并對其進(jìn)行檢測和人臉識別。

　　安全攝像頭和人臉識別技術(shù)經(jīng)常被用于公司辦公室和工廠內(nèi)部，以保護(hù)公司內(nèi)部信息并防范相應(yīng)威脅。有些公司在將安全攝像頭放在比較敏感的地方時，可能沒有想到這些視頻，除了被自己的安全團(tuán)隊使用外，也能被攝像頭廠商查看。

　　在AI如火如荼發(fā)展的同時，以攝像頭、智能終端等設(shè)備為載體的AI技術(shù)，因頻發(fā)的隱私安全事故而不斷被推至風(fēng)口浪尖。例如在去年2月，美國擁有超30億人臉數(shù)據(jù)的創(chuàng)企Clearview AI也被黑客攻擊，致使整個客戶名單被盜。

　　一張手寫紙條竟瞞過人工智能?

　　近日，OpenAI的研究人員發(fā)現(xiàn)，他們最先進(jìn)的計算機視覺系統(tǒng)可以被簡單工具所欺騙：只要寫下一個物體的名稱貼在另一個物體上，就足以欺騙AI軟件，讓其"眼見不一定為實"。OpenAI是一個由諸多硅谷、西雅圖科技大亨聯(lián)合建立的人工智能非營利組織。

　　研究人員做了個小實驗，用筆在紙上寫下"iPod"這個單詞，然后將紙貼在一個青蘋果上，結(jié)果系統(tǒng)沒有識別出這是個蘋果，而是將它識別為"iPod"。

　　OpenAI的研究人員將這些攻擊稱為"排版攻擊"：即使是手寫文字的照片，基于模型強大的讀取文本能力也能夠"欺騙"模型。這類攻擊相當(dāng)于可以欺騙商業(yè)機器視覺系統(tǒng)的"對抗性圖像"，但制作起來簡單得多。

　　對抗性圖像對于依賴機器視覺的系統(tǒng)來說非常危險。此前有研究顯示，可以通過在路面上貼上某些標(biāo)簽，在沒有警告的情況下成功欺騙特斯拉自動駕駛汽車的軟件改變車道。

　　如此重大的攻擊只需要簡單貼幾個標(biāo)簽就完成了，對于如今已經(jīng)廣泛采用人工智能技術(shù)的領(lǐng)域來說是很危險的，如果這種攻擊用于醫(yī)療、軍事、工業(yè)等領(lǐng)域，那將會造成非常嚴(yán)重的威脅。

　　與傳統(tǒng)網(wǎng)絡(luò)攻擊存在明顯不同

　　AI的廣泛應(yīng)用帶來了許多安全風(fēng)險。由技術(shù)性缺陷導(dǎo)致的AI算法安全風(fēng)險，包括可導(dǎo)致AI系統(tǒng)被攻擊者控制的信息安全問題;也可導(dǎo)致AI系統(tǒng)輸出結(jié)果被攻擊者任意控制的功能安全問題。

　　"與傳統(tǒng)的網(wǎng)絡(luò)安全強調(diào)的保密性、完整性、可用性等信息安全問題(security)相比，AI功能安全問題(safety)存在本質(zhì)不同。"北京理工大學(xué)計算機網(wǎng)絡(luò)及對抗技術(shù)研究所所長閆懷志表示，AI安全更突出功能安全問題，這通常是指人工智能系統(tǒng)被惡意數(shù)據(jù)(比如對抗樣本數(shù)據(jù))所欺騙，從而導(dǎo)致AI輸出與預(yù)期不符乃至產(chǎn)生危害性的結(jié)果。

　　針對AI解決方案的網(wǎng)絡(luò)安全攻擊有兩種常見形式：

　　·數(shù)據(jù)中毒：攻擊者有時會瞄準(zhǔn)用來訓(xùn)練機器學(xué)習(xí)模型的數(shù)據(jù)。數(shù)據(jù)中毒是通過操縱一個訓(xùn)練集來控制模型的預(yù)測能力，使模型做出錯誤的預(yù)測，比如標(biāo)記垃圾郵件為安全內(nèi)容。

　　數(shù)據(jù)中毒有兩種類型：攻擊ML算法可用性和攻擊算法的完整性。研究表明，訓(xùn)練集中3%的數(shù)據(jù)遭遇數(shù)據(jù)中毒會導(dǎo)致預(yù)測準(zhǔn)確率下降11%。

　　通過后門攻擊，一個入侵者能夠在模型的設(shè)計者不知情的情況下，在算法中添加入?yún)?shù)。攻擊者用這個后門使得ML系統(tǒng)錯誤地將特定的可能攜帶病毒的字符串識別為良性。

　　業(yè)界需要制定一個標(biāo)準(zhǔn)和規(guī)則來保證數(shù)據(jù)的質(zhì)量，美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)已經(jīng)在制定國家規(guī)范以約束AI的可靠性，規(guī)范包含高階的規(guī)則和強調(diào)準(zhǔn)確性、安全性、偏差性、隱私性和可解釋性的技術(shù)要求。

　　·對抗樣本攻擊：生成對抗網(wǎng)絡(luò)(GAN)是由兩個相互對抗的AI組成，一個模擬原有的內(nèi)容，另一個負(fù)責(zé)挑出錯誤。通過二者的對抗，共同創(chuàng)立出與原先高度擬合的內(nèi)容。

　　針對AI系統(tǒng)實施對抗樣本攻擊的這類惡意代碼，常被稱為"AI病毒"。對抗樣本是指在數(shù)據(jù)集中通過故意添加細(xì)微的干擾所形成的輸入樣本，會導(dǎo)致模型以高置信度給出一個錯誤的輸出。

　　在現(xiàn)實世界中，很多AI系統(tǒng)在對抗樣本攻擊面前不堪一擊。一方面，這是由于AI系統(tǒng)重應(yīng)用、輕安全的現(xiàn)象普遍存在，很多AI系統(tǒng)根本沒有考慮對抗樣本攻擊問題;另一方面，雖然有些AI系統(tǒng)經(jīng)過了對抗訓(xùn)練，但由于對抗樣本不完備、AI算法欠成熟等諸多缺陷，在對抗樣本惡意攻擊面前，也毫無招架之力。

　　新思科技軟件質(zhì)量與安全部門汽車解決方案架構(gòu)師Chris Clark指出："在大多數(shù)情況下，這使攻擊者將重點放在破壞AI和ML系統(tǒng)的機密性和完整性的方法上。與其它技術(shù)一樣，AI在底層系統(tǒng)之上運行。這個系統(tǒng)必須能持續(xù)監(jiān)控和緩解網(wǎng)絡(luò)攻擊。"

　　讓AI更加安全可信

　　隨著全球多個國家都將發(fā)展新一代人工智能提升為國家戰(zhàn)略，產(chǎn)業(yè)需求呈井噴之勢，人工智能也亟需發(fā)展出安全、可信、可靠與可擴展的第三代人工智能技術(shù)。

　　何為第三代人工智能?這一概念最初由中國科學(xué)院院士、清華大學(xué)人工智能研究院院長張鈸提出，指的是在第一代知識驅(qū)動和第二代數(shù)據(jù)驅(qū)動相結(jié)合的基礎(chǔ)上，從知識、數(shù)據(jù)、算法、算力四個要素所構(gòu)建的全新發(fā)展體系，其目標(biāo)是完全解決計算機的智能問題，全面反映人類智能。

　　作為新一輪科技革命和產(chǎn)業(yè)變革的核心驅(qū)動力，AI正在疊加釋放歷次科技革命和產(chǎn)業(yè)發(fā)展所積蓄的巨大能量。算法可靠、數(shù)據(jù)安全、應(yīng)用可控的第三代人工智能技術(shù)，將推動AI在金融、工業(yè)、安全、新基建等領(lǐng)域的應(yīng)用，挖掘AI產(chǎn)業(yè)的第二增長曲線。

　　來源：控制工程網(wǎng)