Goodfire發佈論文《Neurons as an Interpretable Basis》,提出MLP(多層感知機)神經元本身即可直接研究,挑戰該領域長期共識。研究團隊在Qwen3.6-35B-A3B模型上使用稀疏化、歸因工具與研究agent進行分析,發現神經元具備三個可解釋性質。論文作者包括Curt Tigges、Nick Cammarata等。

三大可解釋性質與實驗發現

據該研究,神經元在功能上已經稀疏:每次前向傳播中,即使消融最弱的92.2% MoE(混合專家)神經元激活,模型仍可稀疏運行。此外,神經元可被簡潔描述,其行為也可預測。研究團隊據此認為,可以直接研究網絡本身,而不必先做特徵空間變換。

這一結論與“MLP神經元不可直接研究”的領域共識形成對照。若三大性質成立,機制可解釋性研究可能省去先解糾纏、再做特徵提取的中間步驟。

Cammarata長文:多義性證據被誤讀

同期,Goodfire的Nick Cammarata發佈65分鐘閱讀的研究假設長文《Neural Networks Are Already Clean》。文章提出,機制可解釋性的前景比想象中好得多。

當年讓整個領域相信“網絡任意打包概念”的多義性/疊加經典證據其實被誤讀——那主要是他稱為“遞歸泛化”的模式,遠不那麼令人擔憂;早期model organisms的多義性成因是幾個普通、基本可修復的問題,而非疊加。

Cammarata據此認為,網絡自身機制就是可讀的構建塊,可以直接研究神經元與電路,而不必先解糾纏。

路線之爭與後續關注

兩條線索共同指向機制可解釋性的路線分歧:一條是“快速正常科學”路線,主張直接觀察網絡;另一條是特徵提取路線,主張先假設特徵再重建。Cammarata的長文被視為為前者翻案。

後續關注點包括:Goodfire論文的三項性質能否在其他模型與架構上復現;Cammarata所稱“遞歸泛化”與“可修復問題”能否得到獨立驗證;以及這場路線之爭會如何影響機制可解釋性研究的工具選擇與資源投入。