KAMEL: Wissensanalyse mit Multitoken-Entitäten in Sprachmodellen

Große Sprachmodelle (LMs) haben sich als fähig erwiesen, eine große Menge an relationaler Wissensinformation aus dem Vortrainingskorpus zu erfassen. Diese Modelle können hinsichtlich dieses faktischen Wissens durch die Verwendung von Cloze-artigen Prompt-Formaten untersucht werden, wie am Beispiel der LAMA-Benchmark-Datenbank gezeigt wurde. Allerdings haben kürzlich durchgeführte Studien aufgedeckt, dass die Ergebnisse lediglich gut abschneiden, weil die Modelle gut darin sind, fundierte Vermutungen anzustellen oder Fakten aus den Trainingsdaten zu rekonstruieren. Wir stellen ein neuartiges, auf Wikidata basierendes Benchmark-Datenset, KAMEL, vor, das zur Untersuchung relationaler Kenntnisse in Sprachmodellen dient. Im Gegensatz zu früheren Datensätzen umfasst KAMEL ein breiteres Spektrum an Wissensinhalten, prüft sowohl einzelne als auch mehrere Token umfassende Entitäten und enthält Fakten mit literalen Werten. Zudem ist die Evaluierung präziser, da das Datenset alternative Entitätsbezeichnungen enthält und komplexere, hochkardinalitätsreiche Relationen berücksichtigt. Anstatt die Bewertung auf maskierten Sprachmodellen durchzuführen, präsentieren wir Ergebnisse für eine Reihe aktueller kausaler Sprachmodelle in einem Few-Shot-Szenario. Wir zeigen, dass neuere Modelle zwar auf LAMA sehr gute Ergebnisse erzielen – mit einer vielversprechenden F1-Score von 52,90 % –, jedoch lediglich 17,62 % auf KAMEL erreichen. Unsere Analyse zeigt, dass selbst große Sprachmodelle weit davon entfernt sind, alle Varianten relationalen Wissens zu memorisieren, die üblicherweise in Wissensgraphen gespeichert sind.