HiLo梯度压缩

标签「HiLo梯度压缩」下的全部文章

112026-11两篇arXiv论文优化LoRA分布式训练通信效率2026年11月11日，arXiv发布两篇LoRA分布式训练优化论文。HiLo框架以梯度压缩替代参数传输，传输字节降至1.6%，更新速度提升2.2倍；SPRA-LoRA通过冻结A矩阵和秩感知学习率，降低通信与计算开销50%。两方法均针对带宽受限场景下的通信瓶颈。arXiv cs.LG