11月6日，arXiv cs.LG板块同日发布两项大模型研究，分别聚焦模型能力提升与安全对齐。D²-OPD提出解耦方向与距离的在线策略蒸馏方法，在数学推理基准上最高超出最强基线9.45分；CMaG则揭示视觉语言模型中组合性危害的识别与拒答存在解耦，并提出免训练审计方法。

D²-OPD：解耦蒸馏的方向与距离

在线策略蒸馏（OPD）训练学生模型在自身生成的前缀上匹配教师的下一词分布。外推式OPD进一步扩展教师相对于参考策略的对数概率偏移，以构造更强的学习目标。但现有方法将外推方向与距离耦合，导致教师偏移的幅度决定目标移动的距离。

D²-OPD将这两个因素解耦：每个前缀的硬KL约束限制目标与教师的距离，而教师训练后偏移与初始学生-教师差距的自适应组合决定外推方向。研究团队使用前向KL优化学生模型，即使对低概率词元也能提供学习信号。

实验覆盖三种设置：标准OPD表现良好的场景、基础模型初始化下OPD挣扎的场景，以及无教师参考的场景。在数学推理基准上，D²-OPD在三种设置中均获得最高分，最高超出最强基线9.45分。消融实验验证了各组件的贡献。

CMaG：识别与拒答的解耦及免训练审计

大型视觉语言模型（LVLM）易受组合性危害影响：单独良性的图像与提示，经模型跨模态推理后可能变为有害。近期对齐方法在组合性安全基准上报告高分，但LLM评判仅测量可观察行为，无法揭示安全是否稳健地整合进模型。研究认为，反对齐（un-alignment）提供了对对齐稳健性的补充审计。

研究首先表明，最小监督微调即可达到与多阶段强化学习流程相当的LLM评判分数，因此相似基准分数本身不能证明稳健性。其次，组合性危害的识别与拒答是解耦的：九种标准方向发现方法检测组合性危害的AUC最高达0.99，但消融恢复的方向要么使拒答保持不变，要么破坏模型连贯性。

为此，团队提出CMaG，一种免训练的反对齐方法。CMaG用拒答与合规的对数概率边际测量拒答意图，对中间层激活求梯度，并与部分良性对对比以分离跨模态交互项。对80个样本进行一次反向传播即可得到方向，沿该方向引导可单调地将拒答转为合规。在Qwen2.5-VL-7B和LLaVA-1.5-7B上，CMaG降低了组合性危害。

后续关注

两项研究分别对应模型能力提升与安全对齐两条主线。D²-OPD的解耦思路能否推广至更多蒸馏场景、CMaG的免训练审计能否成为视觉语言模型安全评估的补充工具，值得后续关注。