arXiv于2026年11月6日发布的两篇机器学习论文分别提出新的模型架构：一篇聚焦循环Transformer的参数复用机制，另一篇面向像素级离线强化学习的长程价值展开。两项工作均属前沿架构方向，前者关注模型效率，后者服务具身智能训练。
Loopback Transformer：分离输入强度与更新权重
论文《Loopback Transformer: Towards a Unified View of Residual Looped Transformers》指出，循环Transformer通过重复应用共享块来减少参数量，但仅靠参数共享并不能决定重复计算结果如何被复用。作者从残差连接的深度记忆视角出发，分析每次块应用后存储了何种表示，以及后续读取如何对其加权。
研究认为，完整块输出同时包含其输入和新更新，因此对该输出加权也会重新加权输入已携带的历史。若改为读取单个更新，并将共享栈的输入保留在单独路径上，便可分别控制输入强度、总更新权重以及更新间的权重分配。Loopback Transformer实现了这些控制：几何衰减设定总更新权重并提供近因先验，注意力机制学习如何分配该权重。
在ClimbMix上，Loopback以标准Transformer基线40-75%的参数量（不含token嵌入和输出头）取得更低验证损失，参考规模从1.91亿到30亿参数，训练token与执行深度均匹配。
论文还报告，在14亿和30亿参数规模下，Loopback在13个下游任务上的平均准确率更高；在1.91亿、3.74亿和7.78亿参数规模下，其验证损失最低，13任务均值在标准Transformer及七种循环残差设计中最高。
MAC-v2：无重建潜世界模型与动作分块
另一篇论文《MAC-v2: Long-horizon model-based value expansion from pixels》研究长程基于模型的价值展开能否成为像素级离线强化学习的有效框架。论文指出，从像素进行长程价值展开比基于状态的环境困难得多，智能体必须同时学习表示及其动力学，任一环节的误差都可能在想象轨迹上递归累积。
为此，MAC-v2通过训练无重建潜世界模型并结合动作分块，实现从像素进行长程基于模型的展开。由于从预测和控制目标中学习表示，MAC-v2无需编码可能妨碍动力学预测的、与控制无关的视觉细节。动作分块则通过减少价值展开所需的递归模型预测次数，进一步缓解预测误差。
在视觉OGBench、MMBench2、Robomimic和LIBERO-10等多个视觉基准上，MAC-v2相较无模型和基于模型的离线RL基线取得强劲表现。分析显示，长程基于模型的价值展开对MAC-v2的性能至关重要，动作分块和潜表示学习目标对于可靠的长程潜想象均不可或缺。
后续关注
两项研究均以预印本形式发布，尚未提及同行评审或会议接收情况。Loopback Transformer的代码与模型开放情况、MAC-v2在真实机器人任务上的泛化能力，以及二者在不同规模与任务分布下的可复现性，值得后续跟踪。