2026年6月24日，Lilian Weng 发布文章《Scaling Laws, Carefully》，系统梳理了深度学习中的关键经验规律——缩放定律。文章指出，训练损失 L 随模型规模 N、数据集大小 D 和计算量 C 的增加而可预测地下降，遵循幂律曲线，在双对数坐标图上表现为一条直线。缩放定律可被视为描述计算、损失、模型规模与数据之间关系的框架，其核心在于如何在 N 和 D 之间最优分配计算资源。
缩放定律：计算分配的核心框架
Weng 强调，缩放定律形式简单但意义深远。它不仅是预测模型性能的工具，更是指导计算资源分配的理论基础。随着模型规模和数据量增长，训练损失按幂律下降，这意味着可通过调整模型大小与数据量的比例来优化计算效率。该规律已成为大模型训练中不可或缺的指导原则。
测试时计算与思维链：为何“思考”有效
2025年5月1日，Weng 在《Why We Think》一文中回顾了测试时计算（test-time compute）和思维链（Chain-of-thought, CoT）的最新进展。文章提到，测试时计算（Graves et al. 2016, Ling et al. 2017, Cobbe et al. 2021）和思维链（Wei et al. 2022, Nye et al. 2021）已显著提升模型性能，同时引发许多研究问题。该文旨在综述如何有效利用测试时计算（即“思考时间”）以及它为何有帮助。文章特别感谢了 John Schulman 提供的宝贵反馈和直接编辑。
测试时计算和思维链已带来模型性能的显著提升，同时提出了许多研究问题。本文旨在回顾如何有效使用测试时计算（即“思考时间”）以及它为何有效。
高质量人类数据：模型训练的燃料
更早的2024年2月5日，Weng 在《Thinking about High-Quality Human Data》一文中指出，高质量数据是现代深度学习模型训练的燃料。大多数任务特定的标注数据来自人类标注，例如分类任务或用于大语言模型对齐训练的 RLHF 标注（可构造为分类格式）。文章强调，许多机器学习技术有助于数据质量，但根本上人类数据收集涉及对细节的关注和仔细执行。社区知道高质量数据的价值，但存在一种微妙的印象：“每个人都想做模型工作，而不是数据工作”（Sambasivan et al. 2021）。该文特别感谢了 Ian Kivlichan 提供的许多有用指点和反馈，包括100多年前《自然》杂志的论文“Vox populi”。
后续关注点
这三篇文章共同勾勒出大模型训练方法论的最新进展：缩放定律指导计算分配，测试时计算与思维链提升推理能力，高质量人类数据保障训练基础。未来值得关注的是，如何将这些方法论进一步整合，以及在数据工作与模型工作之间实现更好的平衡。