上海人工智能實(shí)驗(yàn)室_&信通院&螞蟻：終端智能體安全2025白皮書.pdf

該文檔為《終端智能體安全2025白皮書》，由上海人工智能實(shí)驗(yàn)室、中國信通院及螞蟻集團(tuán)聯(lián)合發(fā)布，旨在探討人工智能大模型在終端設(shè)備上的部署與應(yīng)用所面臨的安全挑戰(zhàn)及應(yīng)對策略。

研究背景與核心價值

隨著生成式AI和大模型技術(shù)的快速發(fā)展，智能體（Agent）正逐步從云端向終端側(cè)下沉，以實(shí)現(xiàn)更低延遲、更高隱私保護(hù)的數(shù)據(jù)處理。然而，終端智能體在架構(gòu)設(shè)計(jì)、模型推理、數(shù)據(jù)交互等環(huán)節(jié)引入了新的安全風(fēng)險，如提示詞注入、模型劫持、隱私泄露等。本白皮書系統(tǒng)梳理了終端智能體的技術(shù)架構(gòu)與安全威脅模型，提出了涵蓋模型安全、數(shù)據(jù)安全和系統(tǒng)安全的全棧防護(hù)體系。

主要觀點(diǎn)與建議

文檔重點(diǎn)分析了智能體在自主決策、工具調(diào)用和多輪交互中的潛在漏洞，并提供了具體的安全加固方案，包括可信執(zhí)行環(huán)境（TEE）的應(yīng)用、安全對齊技術(shù)以及運(yùn)行時監(jiān)控機(jī)制。對于致力于布局AI終端、智能硬件及大模型應(yīng)用的企業(yè)而言，本報告提供了重要的合規(guī)參考與技術(shù)實(shí)施指南，有助于構(gòu)建可信、可控的AI終端生態(tài)系統(tǒng)。