近期，围绕AI模型技术演进的讨论持续升温。The Gradient与Lilian Weng发布的系列文章，分别从模型架构、通用人工智能（AGI）、自动驾驶应用及提示工程等角度，勾勒出当前AI前沿技术方向的核心议题。这些讨论既涉及对Transformer主导地位的反思，也涵盖对AGI本质的追问，以及LLM在垂直场景中的落地探索。

Mamba：Transformer的替代方案

The Gradient于2024年3月发布的《Mamba Explained》指出，基于状态空间模型（SSM）的新型AI模型Mamba，正成为广泛使用的Transformer模型的有力替代方案。文章以“Is Attention all you need?”为引，直指Transformer在处理长序列时的效率瓶颈。

Mamba的出现，正是为了解决这一 inefficiency。与依赖注意力机制的Transformer不同，Mamba通过状态空间模型来建模序列信息，试图在保持性能的同时提升长序列处理的效率。这一架构创新被视为对“注意力即一切”范式的重要挑战。

AGI与多模态：语言并非思考的全部

在《AGI Is Not Multimodal》一文中，The Gradient援引Terry Winograd的观点，对当前生成式AI的成功所引发的AGI imminent论调提出质疑。文章开篇引用Winograd的话：“In projecting language back as the model for thought, we lose sight of the tacit embodied understanding that undergirds our intelligence.”

“In projecting language back as the model for thought, we lose sight of the tacit embodied understanding that undergirds our intelligence.” –Terry Winograd

文章认为，尽管生成式AI模型近期取得显著成功，使一些人相信AGI即将到来，但这些模型看似捕捉到了人类智能的本质，实则可能忽略了支撑智能的默会具身理解。这一观点对以语言为中心的多模态路径提出了根本性质疑。

LLM与自动驾驶：能否被信任？

The Gradient于2024年3月发布的《Car-GPT: Could LLMs finally make self-driving cars happen?》探讨了大型语言模型在自动驾驶中的效用。文章提出的核心问题是：LLM能否被信任用于自动驾驶汽车，以及面临哪些关键挑战。

该文将LLM在自动驾驶中的应用视为一个待探索的领域，既关注其潜在价值，也强调信任与安全方面的关键挑战。这一讨论反映了LLM从通用任务向高安全要求垂直场景延伸时的核心矛盾。

提示工程：不更新权重下的模型引导

Lilian Weng在2023年3月发布的《Prompt Engineering》一文中，将提示工程（又称In-Context Prompting）定义为：在不更新模型权重的情况下，与LLM沟通以引导其行为达到预期结果的方法。

文章强调，提示工程是一门经验科学，其方法效果在不同模型间差异很大，因此需要大量实验和启发式方法。该文仅聚焦于自回归语言模型的提示工程，不涉及完形填空、图像生成或多模态模型。文章指出，提示工程的核心目标是对齐与模型可控性。

后续关注点

  • Mamba等基于SSM的架构能否在更广泛任务中验证其对Transformer的替代潜力；
  • AGI与多模态的辩论将如何影响未来模型设计中对具身理解与语言中心主义的权衡；
  • LLM在自动驾驶等高安全场景中的信任建立与关键挑战的解决路径；
  • 提示工程作为经验科学的可复现性与跨模型泛化能力。