Metacognition-Bench, veröffentlicht von ginigen-ai, ist ein Benchmark-Datensatz zur Evaluierung der metakognitiven Fähigkeiten großer Sprachmodelle. Er zielt darauf ab, die funktionale metakognitive Fähigkeit des Modells zu messen, eigene Denkfehler zu erkennen und zu korrigieren, anstatt lediglich die Genauigkeit des Endergebnisses zu bewerten. Zugehörige Forschungsarbeiten umfassen… FINAL Bench: Messung funktionalen metakognitiven Denkens in großen Sprachmodellen . Dieser Datensatz enthält 300 Fragen zu metakognitiven Fallen aus 121 Fachgebieten, darunter Mathematik, Physik, Biologie, Jura, Medizin, Wirtschaftswissenschaften, Statistik, Ethik und Informatik. Die Schwierigkeitsgrade sind in drei Stufen unterteilt: A (fortgeschritten), B (Experte) und C (Standard). Sie umfassen acht metakognitive Verhaltenstypen: Selbstkorrektur, Vermeidung von Fallen, Übergangserkennung, Konfliktlösung, inkrementelles Lernen, Umgang mit mehreren Nebenbedingungen, Expertenbefragung und Entscheidungsfindung unter Unsicherheit. Jede Frage enthält eine versteckte Falle, um die Leistungsfähigkeit des Modells bei trägen, aber fehlerhaften Schlussfolgerungspfaden zu testen. Der Datensatz verwendet zwei Aufgabenformate – Multiple-Choice und offene Aufgaben – zur unabhängigen Bewertung, um die Anfälligkeit des Modells für Fallen des adversariellen Denkens und den Fehlerkorrekturgewinn des Adapters objektiv zu messen.

Datenfelder:

• task_id: Eine eindeutige Kennung (Format META-001 bis META-300)
• Domäne: der Bereich, zu dem die Frage gehört
• Note: Schwierigkeitsgrad (A/B/C)
• ticos_type: Metakognitive Verhaltenstypen (insgesamt 8 Typen)
• Schwierigkeitsgrad: Qualitative Schwierigkeitsbeschreibung
• Eingabeaufforderung: Aufgabenaufforderungswort
• erwartetes Verhalten: Die spezifischen Punkte, an denen korrektes Denken und Intuition fehleranfällig sind.
• versteckte Falle: Versteckte Fehlerbehandlungspfade
• ticos_required: Erforderlicher TICOS-Metakognitionscode