小規模トランスフォーマーがARC-AGI-1で44%達成、67セント

独立研究者が開発した小規模トランスフォーマーモデルが、単独のRTX 5090 GPU上で1.5時間の学習により67セントの計算コストでARC-AGIベンチマーク44パーセントのスコアを達成した。同モデルはARC-2でも7パーセントを記録し、類似のテスト時学習手法を採用する既存の大規模言語モデルを凌駕するパフォーマンスを示した。コードは完全公開され、計算資源を抑制した高サンプル効率の追求を目的とした研究基盤を提供している。 本手法の技術的核心は、教師あり学習への転換と最適化アルゴリズムの刷新にある。入力トークンへの損失計算を排除し出力のみを対象としたことで学習が安定し、性能は約40パーセントから44パーセントへ向上した。最適化にはNorMuonを主軸に採用し、学習率スケジュールをWSD方式に変更。アテンション計算には可変長フラッシュアテンションを活用してパディングによる計算オーバーヘッドを削減した。データ拡張では情報リークを防ぎながら色変換とジメトリー変換をオンライン適用し、3次元RoPEとタスク固有埋め込みの組み合わせが性能維持の要であることが実証された。 本成果は、再帰的構造や合成データの必要性といった従来の常識に疑問を提示する。標準的なトランスフォーマーアーキテクチャのみで同水準の推論性能を達成した事実は、深層学習の基礎能力に対する見直しを促している。開発者は計算コストの大幅削減と世界中の研究者による実験環境の整備を目標に掲げ、データ拡張の完全排除やカスタムGPU最適化による65パーセント突破を目指すと表明している。本取り組みは、推論効率の改善と計算民主化において、次世代AI研究の重要な指標となり得る。