Goodfire发布论文《Neurons as an Interpretable Basis》,提出MLP(多层感知机)神经元本身即可直接研究,挑战该领域长期共识。研究团队在Qwen3.6-35B-A3B模型上使用稀疏化、归因工具与研究agent进行分析,发现神经元具备三个可解释性质。论文作者包括Curt Tigges、Nick Cammarata等。

三大可解释性质与实验发现

据该研究,神经元在功能上已经稀疏:每次前向传播中,即使消融最弱的92.2% MoE(混合专家)神经元激活,模型仍可稀疏运行。此外,神经元可被简洁描述,其行为也可预测。研究团队据此认为,可以直接研究网络本身,而不必先做特征空间变换。

这一结论与“MLP神经元不可直接研究”的领域共识形成对照。若三大性质成立,机制可解释性研究可能省去先解纠缠、再做特征提取的中间步骤。

Cammarata长文:多义性证据被误读

同期,Goodfire的Nick Cammarata发布65分钟阅读的研究假设长文《Neural Networks Are Already Clean》。文章提出,机制可解释性的前景比想象中好得多。

当年让整个领域相信“网络任意打包概念”的多义性/叠加经典证据其实被误读——那主要是他称为“递归泛化”的模式,远不那么令人担忧;早期model organisms的多义性成因是几个普通、基本可修复的问题,而非叠加。

Cammarata据此认为,网络自身机制就是可读的构建块,可以直接研究神经元与电路,而不必先解纠缠。

路线之争与后续关注

两条线索共同指向机制可解释性的路线分歧:一条是“快速正常科学”路线,主张直接观察网络;另一条是特征提取路线,主张先假设特征再重建。Cammarata的长文被视为为前者翻案。

后续关注点包括:Goodfire论文的三项性质能否在其他模型与架构上复现;Cammarata所称“递归泛化”与“可修复问题”能否得到独立验证;以及这场路线之争会如何影响机制可解释性研究的工具选择与资源投入。