arXiv於2026年11月6日發佈的兩篇機器學習論文分別提出新的模型架構：一篇聚焦循環Transformer的參數復用機制，另一篇面向像素級離線強化學習的長程價值展開。兩項工作均屬前沿架構方向，前者關注模型效率，後者服務具身智能訓練。
Loopback Transformer：分離輸入強度與更新權重
論文《Loopback Transformer: Towards a Unified View of Residual Looped Transformers》指出，循環Transformer通過重復應用共享塊來減少參數量，但僅靠參數共享並不能決定重復計算結果如何被復用。作者從殘差連接的深度記憶視角出發，分析每次塊應用後存儲了何種表示，以及後續讀取如何對其加權。
研究認為，完整塊輸出同時包含其輸入和新更新，因此對該輸出加權也會重新加權輸入已攜帶的歷史。若改為讀取單個更新，並將共享棧的輸入保留在單獨路徑上，便可分別控制輸入強度、總更新權重以及更新間的權重分配。Loopback Transformer實現了這些控制：幾何衰減設定總更新權重並提供近因先驗，注意力機制學習如何分配該權重。
在ClimbMix上，Loopback以標準Transformer基線40-75%的參數量（不含token嵌入和輸出頭）取得更低驗證損失，參考規模從1.91億到30億參數，訓練token與執行深度均匹配。
論文還報告，在14億和30億參數規模下，Loopback在13個下游任務上的平均準確率更高；在1.91億、3.74億和7.78億參數規模下，其驗證損失最低，13任務均值在標準Transformer及七種循環殘差設計中最高。
MAC-v2：無重建潛世界模型與動作分塊
另一篇論文《MAC-v2: Long-horizon model-based value expansion from pixels》研究長程基於模型的價值展開能否成為像素級離線強化學習的有效框架。論文指出，從像素進行長程價值展開比基於狀態的環境困難得多，智能體必須同時學習表示及其動力學，任一環節的誤差都可能在想象軌跡上遞歸累積。
為此，MAC-v2通過訓練無重建潛世界模型並結合動作分塊，實現從像素進行長程基於模型的展開。由於從預測和控制目標中學習表示，MAC-v2無需編碼可能妨礙動力學預測的、與控制無關的視覺細節。動作分塊則通過減少價值展開所需的遞歸模型預測次數，進一步緩解預測誤差。
在視覺OGBench、MMBench2、Robomimic和LIBERO-10等多個視覺基準上，MAC-v2相較無模型和基於模型的離線RL基線取得強勁表現。分析顯示，長程基於模型的價值展開對MAC-v2的性能至關重要，動作分塊和潛表示學習目標對於可靠的長程潛想象均不可或缺。
後續關注
兩項研究均以預印本形式發佈，尚未提及同行評審或會議接收情況。Loopback Transformer的代碼與模型開放情況、MAC-v2在真實機器人任務上的泛化能力，以及二者在不同規模與任務分布下的可復現性，值得後續跟蹤。