Command Palette
Search for a command to run...
FActScore
Datum
FActScore wurde 2023 auf der EMNLP von einem Forschungsteam der University of Washington, der University of Massachusetts Amherst, des Allen Institute for AI und Meta (Sewon Min et al.) vorgeschlagen. Es dient speziell der Messung der faktischen Präzision bei der Generierung langer Texte. Dabei wird der generierte Inhalt zunächst in unabhängige atomare Fakten zerlegt, die anschließend einzeln gegen zuverlässige Wissensquellen (wie Wikipedia) auf ihre Unterstützung hin überprüft werden. Der endgültige Score entspricht dem Anteil der unterstützten atomaren Fakten an den gesamten atomaren Fakten.
Dieser Metrik berücksichtigt nur die Präzision und berechnet keine Recall-Werte. Der Score-Bereich liegt zwischen 0 und 100 und wird üblicherweise als Prozentsatz oder als Wert zwischen 0 und 1 angegeben. Ein höherer Wert ist besser und zeigt an, dass ein größerer Anteil der generierten Inhalte aus überprüfbaren Fakten besteht. Diese Metrik wird häufig zur Bewertung der faktischen Zuverlässigkeit großer Modelle bei der Generierung von Personenbiografien und enzyklopädischen Langtexten verwendet.
KI mit KI entwickeln
Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.