缩放定律

标签「缩放定律」下的全部文章

242026-10大模型训练方法论：缩放定律、测试时计算与数据质量Lilian Weng 系列文章梳理大模型训练方法论：缩放定律指导计算分配，测试时计算与思维链提升推理能力，高质量人类数据保障训练基础。文章指出，训练损失随模型规模、数据量和计算量按幂律下降，测试时计算和思维链已显著提升性能，而高质量数据是模型训练的燃料，但社区仍存在重模型轻数据的倾向。Lilian Weng