2026年11月11日，arXiv平台发布两篇关于LoRA（低秩适配，一种通过低秩矩阵分解减少微调参数量的技术）分布式训练效率优化的论文，分别针对分布式在线策略后训练和联邦学习场景提出新方法。两篇论文均聚焦带宽受限环境下大模型微调的通信瓶颈，试图在保持训练质量的同时降低传输开销。

HiLo：以梯度压缩替代参数传输

论文《Train High, Ship Low: Efficient LoRA Synchronization for Distributed On-Policy Post-Training》（arXiv:2611.13306）指出，在带宽受限的网络上，将LoRA适配器传输至rollout worker（负责生成训练数据的执行单元）可能成为分布式在线策略后训练的瓶颈。降低训练秩可能限制工作负载所需容量，而自适应优化器更新难以压缩。

为此，研究者提出HiLo框架，让rollout worker通过维护复制的优化器状态，从梯度重建更新。HiLo是一个与压缩器无关的框架，用压缩梯度分发和本地优化器重放替代参数传输。通过应用相同的解码梯度，学习器和worker在可复现执行下保持同一版本的策略状态一致。

研究者还开发了预算感知的梯度压缩器Spar，结合谱截断、自适应秩分配和误差反馈，将训练秩与通信成本解耦。在在线策略蒸馏和奖励引导后训练上的实验表明，HiLo配合Spar在保持接近完全同步的学习质量的同时，传输的适配器字节仅占1.6%，在带宽约束下端到端更新速度提升最高2.2倍。

SPRA-LoRA：冻结A矩阵降低联邦学习开销

另一篇论文《Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA》（arXiv:2611.13331）关注在资源受限的分布式客户端上微调大规模基础模型的挑战。论文从理论上证明，采用高斯初始化并冻结A矩阵的LoRA微调，可视为全量微调的随机近似，其中批次梯度受到随机的、依赖于秩的扰动。

基于这一洞察，研究者提出在客户端层面冻结并周期性重采样A矩阵。该策略解耦了A和B的梯度，减弱了LoRA的低秩约束，并将计算和上行通信开销降低50%，从而允许将资源重新分配给更高的适配秩。

论文进一步表明，在冻结A机制下，适配秩r直接控制扰动梯度的信噪比（SNR）。具体而言，SNR随r线性增长，这意味着客户端的学利率必须随其适配秩动态缩放以获得更高效用。在此基础上，研究者提出了SPRA-LoRA（随机投影秩感知LoRA）方法。

共同指向带宽受限下的工程瓶颈

两篇论文虽针对不同场景——HiLo面向分布式在线策略后训练，SPRA-LoRA面向联邦学习——但均致力于解决LoRA在分布式训练中的通信效率问题。下表对比了两种方法的核心机制与效果。

方法核心机制通信/计算开销降低训练质量
HiLo + Spar梯度压缩、本地优化器重放传输适配器字节降至1.6%，更新速度提升最高2.2倍接近完全同步
SPRA-LoRA冻结A矩阵、秩感知学习率计算与上行通信开销降低50%未明确量化
两篇论文均强调了秩与通信成本之间的权衡。HiLo通过Spar压缩器将训练秩与通信成本解耦，而SPRA-LoRA则通过冻结A矩阵允许资源向更高秩重新分配。

这些设计反映了在分布式训练中，通信效率与模型容量之间的平衡仍是核心挑战。

后续关注点

两篇论文均发布于arXiv，尚未提及是否经过同行评审。HiLo的实验覆盖在线策略蒸馏和奖励引导后训练，SPRA-LoRA的理论分析基于高斯初始化和冻结A矩阵的假设。未来可关注这些方法在更广泛任务和实际部署中的有效性，以及秩感知学习率策略在联邦学习中的进一步验证。