近期，圍繞AI模型技術演進的討論持續升溫。The Gradient與Lilian Weng發佈的系列文章，分別從模型架構、通用人工智能（AGI）、自動駕駛應用及提示工程等角度，勾勒出當前AI前沿技術方向的核心議題。這些討論既涉及對Transformer主導地位的反思，也涵蓋對AGI本質的追問，以及LLM在垂直場景中的落地探索。
Mamba：Transformer的替代方案
The Gradient於2024年3月發佈的《Mamba Explained》指出，基於狀態空間模型（SSM）的新型AI模型Mamba，正成為廣泛使用的Transformer模型的有力替代方案。文章以“Is Attention all you need?”為引，直指Transformer在處理長序列時的效率瓶頸。
Mamba的出現，正是為瞭解決這一 inefficiency。與依賴注意力機制的Transformer不同，Mamba通過狀態空間模型來建模序列信息，試圖在保持性能的同時提升長序列處理的效率。這一架構創新被視為對“注意力即一切”範式的重要挑戰。
AGI與多模態：語言並非思考的全部
在《AGI Is Not Multimodal》一文中，The Gradient援引Terry Winograd的觀點，對當前生成式AI的成功所引發的AGI imminent論調提出質疑。文章開篇引用Winograd的話：“In projecting language back as the model for thought, we lose sight of the tacit embodied understanding that undergirds our intelligence.”
“In projecting language back as the model for thought, we lose sight of the tacit embodied understanding that undergirds our intelligence.” –Terry Winograd
文章認為，儘管生成式AI模型近期取得顯著成功，使一些人相信AGI即將到來，但這些模型看似捕捉到了人類智能的本質，實則可能忽略了支撐智能的默會具身理解。這一觀點對以語言為中心的多模態路徑提出了根本性質疑。
LLM與自動駕駛：能否被信任？
The Gradient於2024年3月發佈的《Car-GPT: Could LLMs finally make self-driving cars happen?》探討了大型語言模型在自動駕駛中的效用。文章提出的核心問題是：LLM能否被信任用於自動駕駛汽車，以及面臨哪些關鍵挑戰。
該文將LLM在自動駕駛中的應用視為一個待探索的領域，既關注其潛在價值，也強調信任與安全方面的關鍵挑戰。這一討論反映了LLM從通用任務向高安全要求垂直場景延伸時的核心矛盾。
提示工程：不更新權重下的模型引導
Lilian Weng在2023年3月發佈的《Prompt Engineering》一文中，將提示工程（又稱In-Context Prompting）定義為：在不更新模型權重的情況下，與LLM溝通以引導其行為達到預期結果的方法。
文章強調，提示工程是一門經驗科學，其方法效果在不同模型間差異很大，因此需要大量實驗和啓發式方法。該文僅聚焦於自回歸語言模型的提示工程，不涉及完形填空、圖像生成或多模態模型。文章指出，提示工程的核心目標是對齊與模型可控性。
後續關注點
- Mamba等基於SSM的架構能否在更廣泛任務中驗證其對Transformer的替代潛力；
- AGI與多模態的辯論將如何影響未來模型設計中對具身理解與語言中心主義的權衡；
- LLM在自動駕駛等高安全場景中的信任建立與關鍵挑戰的解決路徑；
- 提示工程作為經驗科學的可復現性與跨模型泛化能力。