Command Palette
Search for a command to run...
Durchfallquote Bei Aufgaben Mit Wenigen Beispielen
Datum
Tags
Die Few-Shot-Task-Pass-Rate ist ein wichtiger Leistungsmesswert im Bereich der Prompt-Engineering-Aufgaben für große Modelle und Inferenz. Sie misst die Fähigkeit zum Few-Shot-Prompting anhand des Anteils der erfolgreich gelösten Aufgaben bei Few-Shot-Prompts. Dieser Wert spiegelt wider, wie gut ein Modell in der Lage ist, aus wenigen Beispielen die Muster einer Aufgabe zu erlernen. Üblicherweise wird dieser Wert als Prozentzahl oder als Skala von 0–1 angegeben. Der Metrik wird in einschlägigen Benchmarks und Forschungsarbeiten häufig verwendet, da sie die Leistung des Modells in dieser Dimension effektiv widerspiegelt. Höhere Werte sind besser. Sie hilft Forschern und Ingenieuren, die tatsächlichen Leistungsunterschiede von Modellen in Prompt-Engineering-Szenarien zu quantifizieren und ermöglicht einen einfachen Vergleich zwischen verschiedenen Methoden oder Modellversionen.
KI mit KI entwickeln
Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.