コモンセンスQAにおける人間並みの性能：外部アテンションによる自己アテンションの拡張

現在の多くのAIシステムは、大規模で多様なデータ上で自己注意（self-attention）機構とトランスフォーマー（transformer）アーキテクチャを活用することで、顕著な性能向上を達成している。本論文では、外部の知識や文脈を導入するための外部注意（external attention）機構をトランスフォーマー構造に統合することを提案する。予測プロセスに外部情報を組み込むことで、モデルの規模拡大に依存しなくても済むようになり、AIシステムの民主化を促進することを目指している。我々は、提案する外部注意機構が既存のAIシステムの性能を著しく向上させることを確認した。これにより、実践者たちは基礎となるAIモデルをさまざまな下流タスクに容易にカスタマイズできるようになる。特に、常識的推論（Commonsense Reasoning）というタスクに焦点を当て、提案する外部注意機構が既存のトランスフォーマーモデルを強化し、モデルの推論能力を顕著に向上させることを示した。本研究で提案するシステム、すなわち常識的推論用の知識を備えた外部注意（Knowledgeable External Attention for commonsense Reasoning, KEAR）は、オープンなCommonsenseQA研究ベンチマークにおいて、89.4％の正解率を達成し、人間の正解率（88.9％）と同等の性能を実現した。