前OpenAI研究员称九成神经元可解释

10月15日，前OpenAI研究员、现任Goodfire研究员尼克·卡马拉塔发布长文称，大型神经网络内部可能并未如以往认为般混沌，主流大语言模型中约九成神经元具有明确主导功能。过去可解释性研究因只能稳定解释少量神经元，形成叠加假说，认为有限神经元会混杂编码大量概念。卡马拉塔认为，这多源于观察工具和分析方法偏差。他以猫脸与汽车前脸共激活案例为例，指出该神经元实际响应尖锐V形几何结构；通过重训视觉模型与压缩实验，他提出神经元可能随容量变化进行递归泛化。团队还引入智能体自动观察数据、提出假说、检查连接并设计实验。盲测显示，独立智能体仅凭文字解释即可生成高激活文本，在二百个神经元测试中，正向预测激活率达百分之七十六，反例误激活率仅为百分之十一。若成果获验证，研究人员或可直接分析原始神经元与回路，降低对稀疏自编码器等拆解工具依赖，并助力模型安全、对齐与故障定位。但该研究尚未同行评议，单神经元清晰仍不等于完全还原复杂模型机制。