11月6日，arXiv cs.LG板塊同日發佈兩項大模型研究，分別聚焦模型能力提升與安全對齊。D²-OPD提出解耦方向與距離的在線策略蒸餾方法，在數學推理基準上最高超出最強基線9.45分；CMaG則揭示視覺語言模型中組合性危害的識別與拒答存在解耦，並提出免訓練審計方法。

D²-OPD：解耦蒸餾的方向與距離

在線策略蒸餾（OPD）訓練學生模型在自身生成的前綴上匹配教師的下一詞分布。外推式OPD進一步擴展教師相對於參考策略的對數概率偏移，以構造更強的學習目標。但現有方法將外推方向與距離耦合，導致教師偏移的幅度決定目標移動的距離。

D²-OPD將這兩個因素解耦：每個前綴的硬KL約束限制目標與教師的距離，而教師訓練後偏移與初始學生-教師差距的自適應組合決定外推方向。研究團隊使用前向KL優化學生模型，即使對低概率詞元也能提供學習信號。

實驗覆蓋三種設置：標準OPD表現良好的場景、基礎模型初始化下OPD掙扎的場景，以及無教師參考的場景。在數學推理基準上，D²-OPD在三種設置中均獲得最高分，最高超出最強基線9.45分。消融實驗驗證了各組件的貢獻。

CMaG：識別與拒答的解耦及免訓練審計

大型視覺語言模型（LVLM）易受組合性危害影響：單獨良性的圖像與提示，經模型跨模態推理後可能變為有害。近期對齊方法在組合性安全基準上報告高分，但LLM評判僅測量可觀察行為，無法揭示安全是否穩健地整合進模型。研究認為，反對齊（un-alignment）提供了對對齊穩健性的補充審計。

研究首先表明，最小監督微調即可達到與多階段強化學習流程相當的LLM評判分數，因此相似基準分數本身不能證明穩健性。其次，組合性危害的識別與拒答是解耦的：九種標準方向發現方法檢測組合性危害的AUC最高達0.99，但消融恢復的方向要麼使拒答保持不變，要麼破壞模型連貫性。

為此，團隊提出CMaG，一種免訓練的反對齊方法。CMaG用拒答與合規的對數概率邊際測量拒答意圖，對中間層激活求梯度，並與部分良性對對比以分離跨模態交互項。對80個樣本進行一次反向傳播即可得到方向，沿該方向引導可單調地將拒答轉為合規。在Qwen2.5-VL-7B和LLaVA-1.5-7B上，CMaG降低了組合性危害。

後續關注

兩項研究分別對應模型能力提升與安全對齊兩條主線。D²-OPD的解耦思路能否推廣至更多蒸餾場景、CMaG的免訓練審計能否成為視覺語言模型安全評估的補充工具，值得後續關注。