2026年6月24日，Lilian Weng 發佈文章《Scaling Laws, Carefully》，系統梳理了深度學習中的關鍵經驗規律——縮放定律。文章指出，訓練損失 L 隨模型規模 N、數據集大小 D 和計算量 C 的增加而可預測地下降，遵循冪律曲線，在雙對數坐標圖上表現為一條直線。縮放定律可被視為描述計算、損失、模型規模與數據之間關係的框架，其核心在於如何在 N 和 D 之間最優分配計算資源。
縮放定律：計算分配的核心框架
Weng 強調，縮放定律形式簡單但意義深遠。它不僅是預測模型性能的工具，更是指導計算資源分配的理論基礎。隨著模型規模和數據量增長，訓練損失按冪律下降，這意味著可通過調整模型大小與數據量的比例來優化計算效率。該規律已成為大模型訓練中不可或缺的指導原則。
測試時計算與思維鏈：為何“思考”有效
2025年5月1日，Weng 在《Why We Think》一文中回顧了測試時計算（test-time compute）和思維鏈（Chain-of-thought, CoT）的最新進展。文章提到，測試時計算（Graves et al. 2016, Ling et al. 2017, Cobbe et al. 2021）和思維鏈（Wei et al. 2022, Nye et al. 2021）已顯著提升模型性能，同時引發許多研究問題。該文旨在綜述如何有效利用測試時計算（即“思考時間”）以及它為何有幫助。文章特別感謝了 John Schulman 提供的寶貴反饋和直接編輯。
測試時計算和思維鏈已帶來模型性能的顯著提升，同時提出了許多研究問題。本文旨在回顧如何有效使用測試時計算（即“思考時間”）以及它為何有效。
高質量人類數據：模型訓練的燃料
更早的2024年2月5日，Weng 在《Thinking about High-Quality Human Data》一文中指出，高質量數據是現代深度學習模型訓練的燃料。大多數任務特定的標注數據來自人類標注，例如分類任務或用於大語言模型對齊訓練的 RLHF 標注（可構造為分類格式）。文章強調，許多機器學習技術有助於數據質量，但根本上人類數據收集涉及對細節的關注和仔細執行。社區知道高質量數據的價值，但存在一種微妙的印象：“每個人都想做模型工作，而不是數據工作”（Sambasivan et al. 2021）。該文特別感謝了 Ian Kivlichan 提供的許多有用指點和反饋，包括100多年前《自然》雜誌的論文“Vox populi”。
後續關注點
這三篇文章共同勾勒出大模型訓練方法論的最新進展：縮放定律指導計算分配，測試時計算與思維鏈提升推理能力，高質量人類數據保障訓練基礎。未來值得關注的是，如何將這些方法論進一步整合，以及在數據工作與模型工作之間實現更好的平衡。