Command Palette
Search for a command to run...
Taux De Réussite Des Tâches À Faible Nombre D'exemples
Date
Balises
Le taux de réussite des tâches en few-shot (Few-Shot Task Pass Rate) est une métrique d'évaluation importante dans l'ingénierie des prompts pour les grands modèles et l'inférence. Il mesure la proportion de tâches réussies avec des prompts few-shot, évaluant ainsi la capacité de l'ingénierie des prompts few-shot. Il reflète la capacité du modèle à apprendre les motifs de tâches à partir d'un petit nombre d'exemples. Il est généralement rapporté sous forme de pourcentage ou d'un score compris entre 0 et 1. Cette métrique est largement utilisée dans les benchmarks et les articles connexes, reflétant efficacement les performances du modèle sur cette dimension. Une valeur plus élevée est meilleure. Elle aide les chercheurs et les ingénieurs à quantifier les différences de performances réelles des modèles dans les scénarios d'ingénierie des prompts, facilitant ainsi la comparaison horizontale entre différentes méthodes ou versions de modèles.
Créer de l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.