コード生成のためのCoder Reviewer再ランク付け

コード言語モデルから多様なプログラムをサンプリングし、モデルの尤度に基づいて再順序付けする手法は、コード生成において一般的なアプローチであるが、退化した（非効果的・不適切な）解を好む傾向がある。これに鑑み、協働プログラミングのアイデアを参考に、Coder-Reviewer再順序付けを提案する。既存の研究で用いられたCoder言語モデル（自然言語の指示をもとにプログラムを生成するモデル）に、生成されたプログラムから指示の尤度を評価するReviewerモデルを追加する。本研究では、3つのモデルファミリに属する8種類のモデルを用いて、6つのデータセット上で包括的な実験を実施した。実験結果から、Coder-Reviewer再順序付けは、単にCoderモデルによる再順序付けを行う場合に比べ、一貫して顕著な性能向上（最高で17%の絶対的精度向上）を達成することが明らかになった。実行可能性フィルタリングと組み合わせることで、最小ベイズリスク（Minimum Bayes Risk）法を上回る性能を発揮することも示された。Coder-Reviewer再順序付けは、プロンプトによる実装が容易であり、異なるプログラミング言語に一般化可能で、市販のハイパーパラメータをそのまま利用しても良好な性能を発揮する。