Große Sprachmodelle sind von Fehlinformationen fasziniert: Untersuchung kreativen Problemlösens und des Einstellungseffekts am Beispiel des Only Connect Wall-Datensatzes
Die Suche nach menschenähnlicher KI ist seit der Entstehung des Forschungsgebiets Künstliche Intelligenz ein andauerndes Thema. Die technische Entwicklung und die auftretenden Fähigkeiten der neuesten Generation großer Sprachmodelle (LLMs) haben das Thema über den akademischen Bereich hinaus in die kulturelle Gegenwart gebracht. Obwohl aktuelle Benchmarks für natürlichsprachliche Verarbeitung (NLP) einige Aspekte menschenähnlichen Verhaltens testen (z.B. die "menschlichem Verhalten" ähnlichen Aufgaben von BIG-bench), prüfen wenige oder gar keine kreative Problemlösungsfähigkeiten. Kreatives Problemlösen bei Menschen ist ein gut untersuchtes Thema in der kognitiven Neurowissenschaft, bei dem standardisierte Tests vor allem die Fähigkeit zur Herstellung (heterogener) Verbindungen zwischen Stichwörtern als Maßstab für Kreativität verwenden. Die Aussetzung an irreführende Reize – sogenannte Ablenkungen oder "rote Heringe" – behindert durch den Fixierungseffekt und das Einstellungsschema die menschliche Leistung in solchen Aufgaben. In Studien der kognitiven Neurowissenschaft werden solche Fixierungen experimentell durch Vorbelastung mit orthographisch ähnlichen falschen Wörtern zu nachfolgenden Wortfragmenten oder Hinweisen erzeugt. Das beliebte britische Quiz-Show "Only Connect" hat in seiner Rubrik "Connecting Wall" praktisch eine Nachbildung von Mednick's Remote Associates Test (RAT) geschaffen, wobei absichtlich rote Heringe eingebaut sind, was es zu einem idealen Proxy-Datensatz macht, um den Fixierungseffekt und das Einstellungsschema aus der kognitiven Neurowissenschaft in LLMs zu erforschen und zu studieren. In dieser Arbeit stellen wir den neuen Datensatz Only Connect Wall (OCW) vor und berichten über die Ergebnisse unserer Bewertung ausgewählter vortrainierter Sprachmodelle und LLMs bei kreativen Problemlösungsaufgaben wie dem Gruppieren von Stichwörtern durch heterogene Verbindungen sowie dem Identifizieren korrekter offener Wissensdomänenverbindungen in den jeweiligen Gruppen. Wir generieren synthetisch zwei weitere Datensätze: OCW-Randomized und OCW-WordNet, um unsere Hypothese zu den roten Heringen in Sprachmodellen weiter zu analysieren. Der Code und der Link zum Datensatz sind unter https://github.com/TaatiTeam/OCW verfügbar.