HyperAIHyperAI

Command Palette

Search for a command to run...

BLEU (Bilingual Evaluation Understudy) wurde 2002 von Kishore Papineni et al. eingeführt. Der综合 Score wird berechnet, indem die n-Gramm-Präzision (üblicherweise für 1 bis 4 Gramme) zwischen Kandidaten- und Referenztexten ermittelt und mit einem Längenbestrafungsfaktor multipliziert wird. Die Punktzahl reicht von 0 bis 100, wobei höhere Werte besser sind.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) wurde 2004 von Chin-Yew Lin eingeführt und ursprünglich für die Bewertung von automatischen Zusammenfassungen entwickelt, später jedoch auf Aufgaben der maschinellen Übersetzung und der Textgenerierung ausgeweitet. ROUGE-L basiert auf der längsten gemeinsamen Teilsequenz (LCS) und berechnet das harmonische Mittel aus Recall und Precision, wobei sowohl die inhaltliche Abdeckung als auch die Sequenz berücksichtigt werden. Die Bewertung der Fidelity generierter Texte erfolgt auf Basis der n-Gramm-Überlappung mit dem Referenztext, was für offene Generierungsaufgaben mit Referenzantworten geeignet ist. Höhere Werte sind besser. Diese Metrik ist empfindlich gegenüber der Abdeckung der Schlüsselinformationen in Zusammenfassungen und ist eine der Standardauswahlen für die Bewertung von Textzusammenfassungen.

Beide werden für die offene Generierung mit Referenzantworten verwendet.

KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp