The Gradient於2024年9月9日發表文章《What's Missing From LLM Chatbots: A Sense of Purpose》，指出基於大語言模型的聊天機器人能力逐月提升，但這些進步主要由MMLU、HumanEval和MATH等基準測試衡量（例如Sonnet 3.5、GPT-4o）。文章提出的核心問題是：隨著這些指標越來越飽和，用戶體驗是否在按比例提升？
文章認為，當前LLM聊天機器人最核心的缺失在於“目標感”（A Sense of Purpose）。這一判斷將討論焦點從模型能力分數轉向產品體驗本身，直指AI產品同質化與商業化落地的痛點。
基準分數與用戶體驗的脫節
The Gradient文章觀察到，LLM聊天機器人的能力提升主要以MMLU、HumanEval、MATH等基準測試為衡量標準，Sonnet 3.5、GPT-4o等模型是文中列舉的代表。文章質疑，當這些衡量指標越來越飽和時，用戶體驗並未與分數同步增長。
LLM-based chatbots' capabilities have been advancing every month. These improvements are mostly measured by benchmarks like MMLU, HumanEval, and MATH (e.g. sonnet 3.5, gpt-4o). However, as these measures get more and more saturated, is user experience increasing in proportion to these scores?
文章由此提出一個關鍵追問：如果設想一個未來，基準分數繼續飽和，用戶體驗是否還能依靠分數提升來帶動？這一追問構成了文章討論“目標感”缺失的出發點。
“目標感”為何成為核心缺失
文章將“目標感”視為LLM聊天機器人當前缺失的關鍵要素。在基準測試分數不斷攀升的背景下，用戶與聊天機器人交互時的實際體驗並未獲得同等程度的改善，文章認為這正是“目標感”缺席所致。
這一角度切中了當前AI產品同質化與商業化落地的痛點：當各家模型在相同基準上競逐分數時，產品層面的差異化與用戶價值反而被稀釋。文章並未停留在對分數飽和的感嘆，而是將問題指向產品目標與用戶體驗的錯位。
後續關注點
文章提出的問題為後續討論留下空間：在MMLU、HumanEval、MATH等基準逐漸飽和之後，衡量AI聊天機器人進步的標尺是否需要從分數轉向用戶體驗與目標感。Sonnet 3.5、GPT-4o等模型被文章作為基準進步的代表案例，其用戶體驗是否與分數匹配，仍是待觀察的問題。
對於AI產品開發者與研究者而言，The Gradient的這篇文章提示：基準測試的飽和並不意味著產品成熟，用戶實際感受到的價值提升才是更值得關注的指標。