HyperAIHyperAI

Command Palette

Search for a command to run...

コード生成のためのCoder Reviewer再ランク付け

Tianyi Zhang Tao Yu Tatsunori B. Hashimoto Mike Lewis Wen-tau Yih Daniel Fried Sida I. Wang

概要

コード言語モデルから多様なプログラムをサンプリングし、モデルの尤度に基づいて再順序付けする手法は、コード生成において一般的なアプローチであるが、退化した(非効果的・不適切な)解を好む傾向がある。これに鑑み、協働プログラミングのアイデアを参考に、Coder-Reviewer再順序付けを提案する。既存の研究で用いられたCoder言語モデル(自然言語の指示をもとにプログラムを生成するモデル)に、生成されたプログラムから指示の尤度を評価するReviewerモデルを追加する。本研究では、3つのモデルファミリに属する8種類のモデルを用いて、6つのデータセット上で包括的な実験を実施した。実験結果から、Coder-Reviewer再順序付けは、単にCoderモデルによる再順序付けを行う場合に比べ、一貫して顕著な性能向上(最高で17%の絶対的精度向上)を達成することが明らかになった。実行可能性フィルタリングと組み合わせることで、最小ベイズリスク(Minimum Bayes Risk)法を上回る性能を発揮することも示された。Coder-Reviewer再順序付けは、プロンプトによる実装が容易であり、異なるプログラミング言語に一般化可能で、市販のハイパーパラメータをそのまま利用しても良好な性能を発揮する。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
コード生成のためのCoder Reviewer再ランク付け | 記事 | HyperAI超神経