近日,奇安信集團對外發布《2024人工智能安全報告》(以下簡稱《報告》)。據悉,這是我國首份人工智能安全報告?!秷蟾妗氛J為,人工智能是新一輪科技革命和產業變革的核心技術,被譽為下一個生產力前沿。具有巨大潛力的 AI 技術同時也帶來兩大主要挑戰:一個是放大現有威脅,另一個是引入新型威脅。
數據顯示,在2023年,基于AI的深度偽造欺詐暴增了3000%,基于AI的釣魚郵件數量增長了1000%。據了解,奇安信威脅情報中心監測發現,已有多個有國家背景的APT組織利用AI實施了十余起網絡攻擊事件。同時,各類基于AI的新型攻擊種類與手段不斷出現,甚至出現泛濫,包括深度偽造(Deepfake)、黑產大語言模型、惡意AI機器人、自動化攻擊等,在全球造成了嚴重的危害。
《報告》指出,AI與大語言模型本身伴隨著安全風險,業內對潛在影響的研究與重視程度仍遠遠不足。AI技術推動安全范式變革,全行業需啟動人工智能網絡防御推進計劃,包括利用防御人工智能對抗惡意人工智能,扭轉“防御者困境”。
業內普遍預測,未來十年該技術的惡意使用將迅速增長,人工智能的惡意使用在網絡安全、物理安全、政治安全、軍事安全等方面構成嚴重威脅。
大模型引爆AI熱潮 雙刃劍效應顯現
2022年以后,以ChaGPT為代表的大語言模型(Large Language Model,LLM)AI技術快速崛起,后續的進展可謂一日千里,迎來了AI技術應用的大爆發,展現出來的能力和效果震驚世界。IDC調研顯示,67%的中國企業已經開始探索 AIGC 在企業內的應用機會或進行相關資金投入。IDC預測,2026年中國AI大模型市場規模將達到211億美元,人工智能將進入大規模落地應用關鍵期。
《報告》認為,“AI是一種通用技術,通用就意味著既可以用來做好事,也可以被用來干壞事”。具有巨大潛力的AI技術同時帶來兩大主要挑戰:一是放大現有威脅,另一個是引入新型威脅。奇安信預計,未來十年,人工智能技術的惡意使用將快速增長,將在政治安全、網絡安全、物理安全和軍事安全等方面構成嚴重威脅。
研究發現,人工智能已成攻擊工具,并帶來迫在眉睫的威脅,相關的網絡攻擊頻次越來越高。數據顯示,2023年基于AI的深度偽造欺詐暴增了3000%,基于AI的釣魚郵件數量增長了1000%;奇安信威脅情報中心監測發現,已有多個有國家背景的APT組織利用AI實施了十余起網絡攻擊事件。各類基于AI的新型攻擊種類與手段不斷出現,甚至出現泛濫,包括深度偽造(Deepfake)、黑產大語言模型、惡意AI機器人、自動化攻擊等,在全球造成了嚴重危害。
在當前波譎云詭、風高浪急的國際形勢下,快速發展的AI帶來了更加復雜和難以預測的軍事威脅,包括相關武器系統的誤用、濫用甚至惡用,導致戰爭不可控性增加。例如人工智能被用在“機器人殺手”等致命性自主武器(LAWS)上,可能會導致無差別殺戮。數據顯示,2024財年,美國國防部計劃增加與AI相關的網絡安全投資,總額約2457億美元,其中674億美元用于網絡IT和電子戰能力。
AI引入或放大12種威脅 業界對AI風險重視不足
《報告》深入研究了基于AI的深度偽造(Deepfake)、黑產大語言模型基礎設施、利用AI的自動化攻擊、AI武器化、LLM自身安全風險、惡意軟件、釣魚郵件、虛假內容和活動生成、硬件傳感器安全等12種重要威脅,對其技術原理、危害情況、真實案例等進行了深入的剖析,旨在讓業界更全面的認識到AI普及帶來的兩大主要挑戰:一方面放大了現有威脅,比如釣魚郵件、惡意軟件和社會工程學等;另一方面是引入了新型威脅,如AI自動化攻擊、AI深度偽造等。
以AI武器化為例,據法新社2月10日報道,以色列軍隊首次在加沙地帶的戰斗中采用了人工智能(AI)軍事技術,包括AI驅動的瞄準器和無人機等.引發了人們對現代戰爭中使用自主武器的擔憂。這些技術正在摧毀對手的無人機,并被用于繪制哈馬斯組織在加沙的龐大隧道網絡地圖等。這僅僅是AI武器化、加劇軍事威脅趨勢的冰山一角。
《報告》認為,AI與大語言模型本身伴隨著安全風險,業內對潛在影響的研究與重視程度仍遠遠不足。
全球知名應用安全組織OWASP發布大模型應用的十大安全風險,包括提示注入、數據泄漏、沙箱不足和未經授權的代碼執行等。此外,因訓練語料存在不良信息,導致生成的內容不安全,正持續引發災難性的后果,危害國家安全,公共安全甚至個人安全,這些都亟需業內的高度重視和積極應對。
AI威脅該如何應對?
《報告》從安全行業、監管機構、政企機構、網絡用戶等群體角度,給出了應對AI威脅的建議。其中安全行業需要繼續發揮能力優勢,確保人工智能本身的安全性,并積極利用人工智能用于安全防護;監管機構需要對AI潛在風險與影響保持持續關注,在制度和法規上及時提供支持;政企機構需及時部署AI安全框架和解決方案,以及AI安全評估服務和檢測工具,還要依托AI推動安全升級;網絡用戶在嘗試最新人工智能應用的同時,同樣需要更新安全知識,形成良好的安全習慣。
面對AI網絡攻擊、AI武器化等日益嚴峻的安全威脅,《報告》認為,AI技術將會推動安全領域發生范式變革,全行業需啟動人工智能網絡防御推進計劃。新一代AI技術與大語言模型改變安全對抗格局,將會對地緣政治競爭和國家安全造成深遠的影響,各國正在競相加強在人工智能領域的競爭,以獲得面向未來的戰略優勢。全行業需啟動人工智能網絡防御推進計劃,包括利用防御人工智能對抗惡意人工智能,扭轉“防御者困境”。
(轉載)