Command Palette
Search for a command to run...
Pass@k
Datum
Pass@k (Pass Rate bei k Samples) ist eine wichtige Evaluationsmetrik für Codegenerierungsaufgaben im Bereich der Verarbeitung natürlicher Sprache. Sie misst den Anteil der k Stichproben-Generierungen, bei denen mindestens eine alle Testfälle besteht, und spiegelt die Fähigkeit des Modells wider, ausführbaren und funktional korrekten Code zu generieren; sie ist ein zentrales Bewertungskriterium im Bereich der Codegenerierung. Üblicherweise wird sie als Prozentwert oder als Wert zwischen 0 und 1 berichtet. Diese Metrik wird in einschlägigen Benchmarks und Publikationen häufig verwendet und kann die Leistung des Modells in dieser Dimension wirksam abbilden. Höhere Werte sind besser.
KI mit KI entwickeln
Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.