智能體的成本賬:從數token到數交付

本期要點

  • 編碼智能體單任務 token 消耗是普通對話的 10–50 倍
  • 智能體越有用,調用次數越多,成本非線性上升
  • 評估口徑應從 token 計量轉向實際交付

一個任務,幾十次調用

開發者把編碼任務交給 AI 智能體時,得到的不是一次回答。智能體會先規劃,再生成代碼,然後運行測試,並根據錯誤反復修正——這是一個多輪循環。MIT Technology Review 給出的量級是:單個任務消耗的 token 可達基礎聊天提示的 10 到 50 倍。(來源: MIT Technology Review)

這個數字本身不新鮮,但它把智能體產品化的一個核心矛盾擺到了台面上:智能體的能力來自循環,成本也來自循環。

越有用,越貴

文章給出的判斷是:智能體越有用,調用就越多。工具調用、測試執行、錯誤重試,每一步都要重新把上下文送進模型,token 消耗隨任務複雜度放大,而不是隨用戶數線性增長。(來源: MIT Technology Review)

對做智能體產品的團隊來說,這直接影響三件事:單任務毛利怎麼算、定價按甚麼單位、以及哪些環節值得用更貴的模型。按對話輪次計費的老口徑,在智能體場景下會失真。

換一把尺子

標題給出的主張很直接:停止數 token,開始數交付。也就是說,衡量智能體不該看它燒了多少 token,而該看它完成了多少可用的工作——代碼是否通過測試、任務是否閉環。(來源: MIT Technology Review)

這是一個可被推翻的判斷:如果後續出現更高效的推理與上下文復用方式,單任務 token 消耗大幅下降,那麼「成本高」就不再是智能體落地的主要約束,評估重心也會隨之移動。但在當前量級下,把交付結果作為核心指標,比統計調用量更接近真實價值。

對智能體團隊而言,今天更值得回答的問題不是「我們的 agent 調了多少次模型」,而是「它替用戶交付了甚麼,以及這份交付的成本是多少」。