HyperAIHyperAI

Command Palette

Search for a command to run...

Coder Reviewer Reranking für Code-Generierung

Tianyi Zhang Tao Yu Tatsunori B. Hashimoto Mike Lewis Wen-tau Yih Daniel Fried Sida I. Wang

Zusammenfassung

Die Stichproben verschiedener Programme aus einem Code-Sprachmodell und die Neurangierung mittels Modell-Wahrscheinlichkeit ist eine gängige Methode für die Codegenerierung, neigt jedoch dazu, degenerierte Lösungen vorzuziehen. Inspiriert durch kooperatives Programmieren schlagen wir eine Neurangierung mit Coder-Reviewer vor. Wir erweitern Sprachmodelle für Coder aus vorherigen Arbeiten, die Programme auf Basis sprachlicher Anweisungen generieren, um Reviewer-Modelle, die die Wahrscheinlichkeit der Anweisung gegeben das generierte Programm bewerten. Wir führen eine umfassende Studie an sechs Datensätzen mit acht Modellen aus drei Modellfamilien durch. Experimentelle Ergebnisse zeigen, dass die Coder-Reviewer-Neurangierung im Vergleich zur Neurangierung allein mit dem Coder-Modell konsistente und signifikante Verbesserungen erzielt (bis zu 17 Prozentpunkte absolute Genauigkeitssteigerung). In Kombination mit der Filterung nach Ausführbarkeit kann die Coder-Reviewer-Neurangierung oft die Methode des minimalen Bayes-Risikos übertrifft. Die Coder-Reviewer-Neurangierung ist einfach durch Prompting implementierbar, verallgemeinert sich auf verschiedene Programmiersprachen und funktioniert gut mit vorgefertigten Hyperparametern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp