近期,圍繞AI代理(AI agent)的能力邊界與安全評估,多篇獨立研究提出了新的分析框架與實證發現。這些研究分別從代理評估方法趨勢、AI代理完成開放式AI研究的能力、失控風險的解釋框架,以及存在性風險概率量化的可靠性等角度,對當前AI安全治理討論中的若干核心假設提出了質疑。

AI代理評估:方法、問題與生態

一篇題為《新興AI代理評估趨勢》的論文指出,理解AI代理評估需要同時關注其方法、所回答的問題以及所處的生態系統。該研究強調,評估代理能力不能僅依賴單一基準或演示,而需要考察評估方法本身的設計邏輯與適用邊界。這一視角為後續多項實證研究提供了方法論基礎。

代理能力邊界:尚不能完成開放式AI研究

基於兩項案例研究的早期證據,有研究得出明確結論:AI代理目前尚不能完成開放式的AI研究。該研究通過具體案例考察代理在開放式研究任務中的表現,發現其能力與真正意義上的自主研究仍存在差距。這一髮現對“AI代理即將加速AI研發”的預期構成了直接挑戰。

與此相關,另一項針對“谷歌AI代理以916美元構建操作系統”說法的獨立評估研究,強調了獨立評估的重要性。該研究質疑了演示性成果的可復現性與實際含義,指出缺乏獨立驗證的能力宣稱容易誇大代理的真實水平。

失控風險:AI作為常規技術的中間立場

在安全治理層面,有研究提出“AI作為常規技術”(AI-as-Normal-Technology)的視角來理解失控事件。該框架被描述為網絡安全社區與AI安全社區之間的中間立場,主張將AI失控事件類比為常規技術系統中的失效與事故,而非必然指向災難性後果。這一視角試圖在兩種極端敘事之間提供更務實的分析路徑。

存在性風險概率:仍不足以支撐政策

針對AI存在性風險的概率量化,有研究明確指出,此類概率“仍然過於不可靠,無法為政策提供依據”。該研究批評了思辨性推測通過偽量化(pseudo-quantification)被“洗白”為看似嚴謹的數值估計的過程,認為這種量化不足以支撐嚴肅的政策制定。

“AI存在性風險概率仍然過於不可靠,無法為政策提供依據。”——AI Snake Oil

上述研究共同構成了一組獨立評估視角:在能力層面,代理尚不能完成開放式AI研究;在評估層面,獨立驗證與生態化方法至關重要;在風險層面,常規技術框架與對概率量化的審慎態度,為AI安全治理提供了不同於主流敘事的分析工具。後續值得關注的是,這些評估框架能否被更廣泛的研究與政策討論所採納,以及代理能力的進一步實證進展。