HyperAIHyperAI
vor 2 Monaten

Anweisungsbefolgungsevaluation für große Sprachmodelle

Jeffrey Zhou; Tianjian Lu; Swaroop Mishra; Siddhartha Brahma; Sujoy Basu; Yi Luan; Denny Zhou; Le Hou
Anweisungsbefolgungsevaluation für große Sprachmodelle
Abstract

Eine Kernfunktion großer Sprachmodelle (Large Language Models, LLMs) besteht darin, natürlichsprachliche Anweisungen zu befolgen. Die Bewertung dieser Fähigkeiten ist jedoch nicht standardisiert: Menschenbasierte Bewertungen sind teuer, langsam und nicht objektiv reproduzierbar, während LLM-basierte automatische Bewertungen potenziell verzerrt oder durch die Leistungsfähigkeit des evaluienden LLM begrenzt sein können. Um diese Probleme zu überwinden, stellen wir Instruction-Following Eval (IFEval) für große Sprachmodelle vor. IFEval ist ein einfaches und leicht reproduzierbares Evaluationsbenchmark. Es konzentriert sich auf eine Reihe von „verifizierbaren Anweisungen“, wie zum Beispiel „in mehr als 400 Wörtern schreiben“ und „das Schlüsselwort KI mindestens 3 Mal erwähnen“. Wir haben 25 Arten solcher verifizierbaren Anweisungen identifiziert und etwa 500 Prompts erstellt, wobei jeder Prompt eine oder mehrere verifizierbare Anweisungen enthält. Wir präsentieren die Evaluierungsergebnisse zweier weit verbreiteter LLMs auf dem Markt. Unser Code und unsere Daten sind unter https://github.com/google-research/google-research/tree/master/instruction_following_eval abrufbar.

Anweisungsbefolgungsevaluation für große Sprachmodelle | Neueste Forschungsarbeiten | HyperAI