近期,围绕AI代理(AI agent)的能力边界与安全评估,多篇独立研究提出了新的分析框架与实证发现。这些研究分别从代理评估方法趋势、AI代理完成开放式AI研究的能力、失控风险的解释框架,以及存在性风险概率量化的可靠性等角度,对当前AI安全治理讨论中的若干核心假设提出了质疑。
AI代理评估:方法、问题与生态
一篇题为《新兴AI代理评估趋势》的论文指出,理解AI代理评估需要同时关注其方法、所回答的问题以及所处的生态系统。该研究强调,评估代理能力不能仅依赖单一基准或演示,而需要考察评估方法本身的设计逻辑与适用边界。这一视角为后续多项实证研究提供了方法论基础。
代理能力边界:尚不能完成开放式AI研究
基于两项案例研究的早期证据,有研究得出明确结论:AI代理目前尚不能完成开放式的AI研究。该研究通过具体案例考察代理在开放式研究任务中的表现,发现其能力与真正意义上的自主研究仍存在差距。这一发现对“AI代理即将加速AI研发”的预期构成了直接挑战。
与此相关,另一项针对“谷歌AI代理以916美元构建操作系统”说法的独立评估研究,强调了独立评估的重要性。该研究质疑了演示性成果的可复现性与实际含义,指出缺乏独立验证的能力宣称容易夸大代理的真实水平。
失控风险:AI作为常规技术的中间立场
在安全治理层面,有研究提出“AI作为常规技术”(AI-as-Normal-Technology)的视角来理解失控事件。该框架被描述为网络安全社区与AI安全社区之间的中间立场,主张将AI失控事件类比为常规技术系统中的失效与事故,而非必然指向灾难性后果。这一视角试图在两种极端叙事之间提供更务实的分析路径。
存在性风险概率:仍不足以支撑政策
针对AI存在性风险的概率量化,有研究明确指出,此类概率“仍然过于不可靠,无法为政策提供依据”。该研究批评了思辨性推测通过伪量化(pseudo-quantification)被“洗白”为看似严谨的数值估计的过程,认为这种量化不足以支撑严肃的政策制定。
“AI存在性风险概率仍然过于不可靠,无法为政策提供依据。”——AI Snake Oil
上述研究共同构成了一组独立评估视角:在能力层面,代理尚不能完成开放式AI研究;在评估层面,独立验证与生态化方法至关重要;在风险层面,常规技术框架与对概率量化的审慎态度,为AI安全治理提供了不同于主流叙事的分析工具。后续值得关注的是,这些评估框架能否被更广泛的研究与政策讨论所采纳,以及代理能力的进一步实证进展。
