2026年11月11日，arXiv平台發佈兩篇關於LoRA（低秩適配，一種通過低秩矩陣分解減少微調參數量的技術）分布式訓練效率優化的論文，分別針對分布式在線策略後訓練和聯邦學習場景提出新方法。兩篇論文均聚焦帶寬受限環境下大模型微調的通信瓶頸，試圖在保持訓練質量的同時降低傳輸開銷。

HiLo：以梯度壓縮替代參數傳輸

論文《Train High, Ship Low: Efficient LoRA Synchronization for Distributed On-Policy Post-Training》（arXiv:2611.13306）指出，在帶寬受限的網絡上，將LoRA適配器傳輸至rollout worker（負責生成訓練數據的執行單元）可能成為分布式在線策略後訓練的瓶頸。降低訓練秩可能限制工作負載所需容量，而自適應優化器更新難以壓縮。

為此，研究者提出HiLo框架，讓rollout worker通過維護複製的優化器狀態，從梯度重建更新。HiLo是一個與壓縮器無關的框架，用壓縮梯度分發和本地優化器重放替代參數傳輸。通過應用相同的解碼梯度，學習器和worker在可復現執行下保持同一版本的策略狀態一致。

研究者還開發了預算感知的梯度壓縮器Spar，結合譜截斷、自適應秩分配和誤差反饋，將訓練秩與通信成本解耦。在在線策略蒸餾和獎勵引導後訓練上的實驗表明，HiLo配合Spar在保持接近完全同步的學習質量的同時，傳輸的適配器字節僅佔1.6%，在帶寬約束下端到端更新速度提升最高2.2倍。

SPRA-LoRA：凍結A矩陣降低聯邦學習開銷

另一篇論文《Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA》（arXiv:2611.13331）關注在資源受限的分布式客戶端上微調大規模基礎模型的挑戰。論文從理論上證明，採用高斯初始化並凍結A矩陣的LoRA微調，可視為全量微調的隨機近似，其中批次梯度受到隨機的、依賴於秩的擾動。

基於這一洞察，研究者提出在客戶端層面凍結並週期性重採樣A矩陣。該策略解耦了A和B的梯度，減弱了LoRA的低秩約束，並將計算和上行通信開銷降低50%，從而允許將資源重新分配給更高的適配秩。

論文進一步表明，在凍結A機制下，適配秩r直接控制擾動梯度的信噪比（SNR）。具體而言，SNR隨r線性增長，這意味著客戶端的學利率必須隨其適配秩動態縮放以獲得更高效用。在此基礎上，研究者提出了SPRA-LoRA（隨機投影秩感知LoRA）方法。

共同指向帶寬受限下的工程瓶頸

兩篇論文雖針對不同場景——HiLo面向分布式在線策略後訓練，SPRA-LoRA面向聯邦學習——但均致力於解決LoRA在分布式訓練中的通信效率問題。下表對比了兩種方法的核心機制與效果。

方法核心機制通信/計算開銷降低訓練質量
HiLo + Spar梯度壓縮、本地優化器重放傳輸適配器字節降至1.6%，更新速度提升最高2.2倍接近完全同步
SPRA-LoRA凍結A矩陣、秩感知學習率計算與上行通信開銷降低50%未明確量化
兩篇論文均強調了秩與通信成本之間的權衡。HiLo通過Spar壓縮器將訓練秩與通信成本解耦，而SPRA-LoRA則通過凍結A矩陣允許資源向更高秩重新分配。

這些設計反映了在分布式訓練中，通信效率與模型容量之間的平衡仍是核心挑戰。

後續關注點

兩篇論文均發佈於arXiv，尚未提及是否經過同行評審。HiLo的實驗覆蓋在線策略蒸餾和獎勵引導後訓練，SPRA-LoRA的理論分析基於高斯初始化和凍結A矩陣的假設。未來可關注這些方法在更廣泛任務和實際部署中的有效性，以及秩感知學習率策略在聯邦學習中的進一步驗證。