縮放定律

標籤「縮放定律」下的全部文章

242026-10大模型訓練方法論：縮放定律、測試時計算與數據質量Lilian Weng 系列文章梳理大模型訓練方法論：縮放定律指導計算分配，測試時計算與思維鏈提升推理能力，高質量人類數據保障訓練基礎。文章指出，訓練損失隨模型規模、數據量和計算量按冪律下降，測試時計算和思維鏈已顯著提升性能，而高質量數據是模型訓練的燃料，但社區仍存在重模型輕數據的傾向。Lilian Weng