Command Palette
Search for a command to run...
Multi-step Succ Rate
Datum
Tags
Die Erfolgsrate bei mehrstufigen Aufgaben ist eine wichtige Bewertungsmetrik im Bereich der großen Sprachmodelle und des logischen Schlussfolgerns für Agentenaufgaben. Sie gibt den Anteil an, in dem Agenten alle Teilaufgaben einer mehrstufigen Aufgabe vollständig ausführen und das endgültige Ziel erreichen, und spiegelt somit die Fähigkeit zu langfristiger Planung und robustem Handeln wider. Diese Metrik wird üblicherweise als Prozentwert oder als Punktzahl im Bereich von 0 bis 1 angegeben. Sie wird in relevanten Benchmarks und Publikationen häufig verwendet und ermöglicht eine effektive Beurteilung der Modellleistung in dieser Dimension. Höhere Werte sind besser. Sie hilft Forschern und Ingenieuren, die tatsächlichen Leistungsunterschiede der Modelle in Agentenszenarien zu quantifizieren, und erleichtert den horizontalen Vergleich verschiedener Methoden oder Modellversionen.
KI mit KI entwickeln
Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.