AlphaCodeを用いた競争レベルのコード生成

プログラミングは強力かつ広く普及した問題解決のツールである。プログラマーを支援するシステム、あるいは自らプログラムを生成するシステムの開発により、プログラミングの生産性とアクセス性が向上する可能性があるが、これまで人工知能（AI）の革新を統合する試みは困難であった。近年の大規模言語モデルは、コード生成において驚異的な能力を示しており、簡単なプログラミングタスクの完了が可能になった。しかし、単に指示をコードに翻訳する以上の問題解決能力を要する、より複雑で未知の問題に対しては依然として性能が劣る。たとえば、アルゴリズムの理解と複雑な自然言語処理を必要とする競技プログラミングの問題は依然として極めて困難である。このギャップを埋めるために、我々は、深層的な推論を要する問題に対して新たな解決策を生成できるコード生成システム「AlphaCode」を提案する。Codeforcesプラットフォーム上で実施された最近のプログラミングコンテストを模擬評価した結果、AlphaCodeは5,000人以上の参加者がいるコンテストにおいて平均して上位54.3％の順位を達成した。良好かつ信頼性の高い性能を達成する上で、以下の3つの要素が特に重要であることが明らかになった：（1）訓練および評価に用いる広範かつクリーンな競技プログラミングデータセット、（2）大規模かつサンプリング効率の高いトランスフォーマー型アーキテクチャ、（3）大規模なモデルサンプリングによる探索空間の幅広い調査、その後にプログラムの振る舞いに基づくフィルタリングにより、最終的に少数の提出物に絞り込むプロセス。