Martin Fowler专栏近期提到,开发者Simon Willison推出了一款LLM陈词滥调检测工具,用户粘贴文本或URL即可标记出LLM常见模式。该工具参考了维基百科关于AI写作迹象的页面,而该页面指出人类在区分人类与LLM生成文本方面表现糟糕。与此同时,另一则来自Martin Fowler专栏的报道显示,Giles Edwards-Alexander报告称,在一次旨在检验团队使用全智能体工程实践能有多大生产力的实验中,团队意外促使智能体在git仓库内创建了一个黑板协调系统。

LLM文风检测工具与人类辨别力研究

Simon Willison的LLM陈词滥调检测工具旨在帮助用户识别AI生成文本中的常见模式。Martin Fowler在专栏中表示,他像许多读者一样对AI生成的散文保持警惕,并引用维基百科页面指出,人类在区分人类与LLM生成文本方面“出了名地糟糕”。

该页面引用的研究显示,尽管关于人类检测AI生成文本能力的研究仍然有限,但2025年的一项研究表明,人类区分LLM文本与人类文本的能力并不比随机猜测更好。另一项2025年针对德语论文的研究则显示,人类对AI文本的“识别率为57%,对人类生成文本的识别率为64%”。

“人类在区分人类与LLM生成文本方面出了名地糟糕。”——维基百科关于AI写作迹象的页面

Martin Fowler还表达了对LLM腔调散文的反感,并怀疑自己反应的准确性。他提到自己年岁足够大,见过各种新的口头禅出现,过去会将其归因于年轻人或机场商业书籍。

全智能体工程实验中的意外发现

Giles Edwards-Alexander报告称,在一次旨在检验团队使用全智能体工程实践能有多大生产力的实验中,团队意外促使智能体在git仓库内创建了一个黑板协调系统。该实验的具体细节和智能体如何被提示创建该系统,目前尚未在摘要中详细说明。

这一意外发现揭示了智能体工程实践中的新现象:智能体在协作过程中可能自发形成协调机制。黑板系统通常用于多智能体环境中共享信息和协调任务,而在此实验中,它出现在git仓库内,表明智能体可能利用版本控制基础设施进行协作。

后续关注点

两则线索分别指向AI生成内容识别与智能体工程实践两个方向。LLM文风检测工具的实际效果、人类辨别AI文本能力的提升空间,以及全智能体实验中黑板协调系统的具体运作机制和可复现性,均有待进一步观察。Martin Fowler专栏的后续文章可能会提供更多关于该实验的细节。