以“有AI，更安全”為理念，百度安全在AI安全領域的探索始終處于行業前沿，率先提出了Security、Safety和Privacy三大AI安全研究維度，分別指向了強對抗安全、非對抗安全、及數據安全與隱私保護。為行業提供了一個面向AI安全的研究思路與實踐方向。而在過去的一年里，百度安全也在模型安全、數據安全及AIoT等多個方面取得了長足的進展，這一系列AI安全能力成為百度AI體系構建中不可或缺的關鍵一環。在眾所矚目的2021百度Create大會AI安全分論壇上，由百度首席安全科學家李康向大家分享了百度AI安全研究的進展與愿景。

雖然AI技術領域火熱的研究趨勢和高效的開發迭代速度可以應對日益劇增的需求，但技術的頻繁更新和開發的高速迭代仍對底層的計算框架的安全性帶來了沖擊。一方面，針對 AI 系統的惡意攻擊愈發頻繁，如通過在輸入樣本中填入細微的、通常無法識別的干擾，導致模型給出標識欺騙、位置偏離等錯誤輸出的對抗樣本攻擊。對此，百度安全在今年九月發布的PaddleSleeve，融合了Advbox對抗樣本攻擊及Robustness魯棒性評估等諸多能力。同時，聚焦于隱私性，PaddleSleeve能夠支持AUC、Recall、結構相似度、峰值信噪比（Peak SNR）等隱私攻擊效果評估指標，可實現對模型數據被還原風險及模型是否存在關鍵信息泄露風險的檢測，賦能企業和開發者可通過新訓練、模型精調等方式進行對抗訓練，并可借助多種過濾算法在不修改模型的情況下實現非侵入式的對抗魯棒性增強。目前，PaddleSleeve已在多個場景中實現對飛槳自定義及預訓練模型，ResNet、YOLO等通用產業級模型的支持。

另一方面，AI技術已經被廣泛應用于各行各業，如何確保AI計算框架的代碼開發質量也成為了代碼開發過程中必不可少的一部分。而在今年的Black Hat Europe上，百度安全提出了一種新型的基于模型變異的模糊測試工具AI Model-Mutator。它將模型文件作為數據輸入文件，進行變異來測試底層計算框架的代碼質量。和功能測試不同的是，它采用的是針對模型的隨機變異，所以可以覆蓋很多功能測試不能考慮到的邊界問題。更詳細來說，它利用靜態代碼分析獲取模型相關操作的類型和約束條件，然后根據這些操作類型和約束條件進行隨機的圖遍歷和改寫。最后，利用生成的變異后的模型文件作為種子對計算框架進行測試。除此以外，AI Model-Mutator提出了一系列針對模型輸入的變異規則來進行有效地模型文件變異，在今年百度安全已發布100+多個安全問題并已獲得80+ 相關CVEs，其中多個AI框架的新型漏洞得到TensorFlow團隊的確認。

在AI Privacy的隱私保護方向上，尤其是在保護AI訓練和推理時，即便是使用了硬件防御機制，軟件棧上的設計不當，尤其是與硬件編程模型的差異性，會導致敏感信息泄露。百度是世界上最流行的機密計算開源框架Teaclave的主導者，幫助用戶基于硬件安全能力，確保敏感數據在可信域外和離岸場景下安全可控的流通和處理。除基于SGX技術外，還推出了Teaclave Trustzone SDK。通過在GlobalPlatform標準的API上重新設計了安全的Rust接口，使用Rust編寫 TA（Trusted Apps）和App（Client Apps），大大減少內存安全問題，確保可信執行環境的安全。使得在敏感數據處理的端、邊、云各環節均可引入機密計算技術，實現端、邊、云一體化的端到端安全可信，讓敏感數據在傳輸、存儲和使用中的每個環節均處于加密狀態，只有授權程序才能處理敏感數據，且處理過程可以通過Remote Attestation進行技術驗證。

在國內外監管環境日漸完善的今天，大家都在加強數據保護意識，而AI能力同樣可用于安全問題、隱私問題檢測及動態分析，百度安全所提供的史賓格安全及隱私合規平臺，便以先進的人工智能技術為支撐，覆蓋產品全生命周期的隱私合規需求，包含隱私數據采集、權限使用場景、 隱私政策管理等多重緯度技術檢測能力，得出全面精準地合規風險檢測結果。

而在AI Safety方向，百度公司一直長期投入自動駕駛技術研究。但百度安全也清楚的知道每個 AI 模型都有實際應用場景的范圍，而一旦超出范圍模型將無法確保其安全性。百度安全將多種系統安全技術應用到自動駕駛系統中，確保AI系統在各種場景下的安全與穩定，并將模糊測試（Fuzzing）技術與模式檢查（Model Checking）技術植入自動駕駛軟件測試中，來搭建百度自動駕駛安全測試平臺，去結合3D仿真和車輛自動駕駛系統做場景變異，利用車輛軌跡作為測試覆蓋率信息，將模糊測試技術創新應用到自動駕駛中。而在形式化驗證方面，百度利用模式檢查來驗證系統是否在運行時執行安全駕駛，遵守交規，行為是否符合預期。以此，形成了百度SimLane數據集與自動駕駛交通燈場景測試數據集，以及車安全相關的 AI 魯棒性評測報告。并創辦首個以自動駕駛安全為主題的CTF比賽活動在2021 DEFCON上，活動吸引全球上百支隊伍參加，形成了測試 AI感知和自動駕駛安全的社區。

將來，百度安全會持續關注AI安全，從Safety，Security，Privacy三個方面做好防御工作。防御手段將會是系統安全技術與應用層防御結合，全方位保護AI系統的安全。而伴隨一系列新功能的不斷加入，百度安全也希望與學術界、產業界持續展開合作，以場景為驅動，面向產業實踐，為AI模型安全與隱私保護提供更好的能力支撐。
點擊進入獲得更多技術信息~~

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的百度Create大会：百度AI安全研究的进展与愿景的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。