Bekannte Unbekannte

Große Sprachmodelle erzeugen oft fehlerhafte Aussagen, die als "Halluzinationen" bezeichnet werden. Die Aufgabe "Bekannte Unbekannte" (Known Unknowns) zielt darauf ab, diesen Fehler zu untersuchen, indem getestet wird, ob das Modell korrekt erkennen kann, wann die Antwort auf eine Frage unbekannt ist. Das Ziel dieser Aufgabe besteht darin, zu bewerten, ob das Modell die Neigung zu falschen Vorhersagen vermeiden und stattdessen seine Unsicherheit eingestehen kann, wenn es mit unbekannten Wahrheiten konfrontiert wird. Dies hilft, die Zuverlässigkeit und Transparenz des Modells zu verbessern und seine Glaubwürdigkeit in realen Anwendungen zu steigern.