2025年のNeurIPS（ニューロインフォマティクス・インターナショナル・コンファレンス）は、過去最多となる2万1575件の論文投稿を記録し、世界最大規模のAI学会としての地位をさらに確立した。会期は11月30日から12月7日までサンディエゴで開催され、参加者は前例のない規模で集結。特に注目されたのは、Google DeepMindの研究動向と、強化学習（RL）の進化。AIの「巨大化」から「特定用途への最適化」へとシフトする流れが顕著だった。また、AI開発の現場に近い企業やインフラ企業の出展も活発で、LambdaやOllama、PoolsideらがローカルLLMやGPUクラウドの進化を披露。金融機関の参加も目立つ中、AIの実用化が進む現状が如実に表れた。 この中で最も注目されたのは、Qwenチームによる「Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free」。この論文は、NeurIPS 2025の最優秀論文賞を受賞し、AI研究コミュニティに大きな影響を与えている。論文の核心は、「ソフトマックス注意力（softmax attention）の出力後にゲートモジュールを設ける」というシンプルなアイデアが、モデルの訓練安定性向上、より大きな学習率の使用、そして長文処理へのスケーラビリティを劇的に改善することを実証した点にある。 ゲートとは、ネットワーク内の信号を調節する「制御弁」のような仕組み。Qwenチームは、特に「スケーリングドットプロダクト注意（SDPA）の出力」にゲートを配置（G1）することで、情報の流れをより適切に制御できることを発見。これにより、モデルが「注意の沈殿（attention sink）」と呼ばれる現象——初期トークンにすべての注目が集中し、他のトークンが無視される——を大幅に抑制。結果として、訓練中の損失の急上昇が抑えられ、深層モデルや長文処理でも安定した学習が可能になった。 さらに、ゲート導入により、モデルは事前に短い文脈で学習した後、後からRoPE（回転位置埋め込み）のベースを拡張することで、最大128kトークンまでの長文処理が可能に。再学習なしに実現されたこの技術は、実用的な長文モデル開発に革命をもたらす可能性を持つ。 実験では、Sigmoid関数をゲートに使用することがSiLUよりも優れていることも明らかに。また、ヘッドごとに個別にゲートを学習させる（ヘッド別ゲート）ことが、モデル性能向上に最も寄与することが判明。これらの知見は、即座に実装可能な実践的価値を持つ。 Qwenチームの研究は、産業界規模の計算リソースを駆使した体系的な検証に基づくものであり、オープンな共有姿勢が高く評価された。AIの進化を支える基礎技術の理解を深める上で、極めて重要な貢献と言える。