HiLo梯度壓縮

標籤「HiLo梯度壓縮」下的全部文章

112026-11兩篇arXiv論文優化LoRA分布式訓練通信效率2026年11月11日，arXiv發佈兩篇LoRA分布式訓練優化論文。HiLo框架以梯度壓縮替代參數傳輸，傳輸字節降至1.6%，更新速度提升2.2倍；SPRA-LoRA通過凍結A矩陣和秩感知學習率，降低通信與計算開銷50%。兩方法均針對帶寬受限場景下的通信瓶頸。arXiv cs.LG