元OpenAI研究員がニューロン機能9割を説明

10月15日、OpenAI元研究者でGoodfire所属のニック・カマラータ氏は、大型神経ネットワークの内部構造が従来の想定より理解しやすい可能性があるとの見解を示し、長文記事で機構的可解釈性の研究判断を大きく転換した。氏は過去にOpenAIで機構的可解釈性を推進してきた立場から、複雑なニューロンは多数の概念が混在するとの見方を修正し、新たな分析手法と人工知能エージェントを用いることで、多数のニューロンに明確な機能を対応づけられると主張した。 Qwen3-32Bの検討では、ニューロン応答方向の約90%に単一の支配的な機能があり、約7%は関連する二つの機能、2〜4%は未解明と推定した。Kimi K3などの大型モデルでも類似傾向を観測したとした。ただし2023年のOpenAIによるGPT-2研究では、当時の基準で約1.7%しか説明できなかったため、直接比較はできない。 同研究は、概念が重なるために解読困難という叠加仮説で説明されてきた現象の再解釈を狙う。視覚モデルInceptionV1で猫と自動車の前面に反応するニューロンは、実際には鋭いV字型の幾何構造を検出していたと指摘した。さらにConvNeXtでは最終層の約99%のニューロンが明確な機能を持つとし、ニューロン数を圧縮しても無作為に混在するのではなく、より広い幾何パターンへ再編成されるとした。氏はこれを再帰的汎化と呼ぶ。 検証では、エージェントがニューロンの説明文を作り、別のエージェントがその説明から新たな発動例や反例を生成した。200ニューロンの検証で、有効に評価できた範囲では76%が強い活性化を起こし、反例の誤活性化は11%にとどまった。さらに10万件の帰属図解析にも人工知能を適用した。 成果は未査読で、追加の技術論文と独立再現が必要だが、稀疏自動エンコーダなどに依存しない直接解析の可能性を示す。誤認、異常目的、欺瞞行為の検出や開発障害解析への応用が期待される一方、単一ニューロンの理解は全体機構の解明には遠く、叠加仮説も直ちに否定されるものではない。