Yang Wang Chenghao Xiao Chia-Yi Hsiao Zi Yan Chang Chi-Li Chen Tyler Loakman Chenghua Lin

Abstract

Wir stellen Drivelologie vor, ein einzigartiges sprachliches Phänomen, das als „Nonsens mit Tiefe“ charakterisiert ist: Äußerungen, die syntaktisch kohärent, aber pragmatisch paradox, emotional aufgeladen oder rhetorisch subversiv sind. Obwohl solche Ausdrücke oberflächlich an sinnlosen Reden erinnern können, enthalten sie implizite Bedeutungen, die kontextuelle Schlussfolgerung, moralische Bewertung oder emotionale Interpretation erfordern. Wir stellen fest, dass aktuelle große Sprachmodelle (Large Language Models, LLMs), trotz ihrer herausragenden Leistung bei vielen Aufgaben des natürlichen Sprachverstehens (Natural Language Processing, NLP), konstant versagen, wenn es um die Verarbeitung der mehrschichtigen Semantik drivelologischer Texte geht. Um dies genauer zu untersuchen, haben wir eine kleine, aber vielfältige Benchmark-Datenbank mit über 1.200 sorgfältig zusammengestellten Beispielen erstellt, wobei ausgewählte Instanzen in Englisch, Mandarin, Spanisch, Französisch, Japanisch und Koreanisch vorliegen. Die Annotation erwies sich als besonders herausfordernd: Jedes Beispiel musste einer sorgfältigen Expertenprüfung unterzogen werden, um sicherzustellen, dass es tatsächlich die charakteristischen Merkmale der Drivelologie widerspiegelt. Der Prozess umfasste mehrere Diskussionsrunden und abschließende Abstimmungen zur Klärung von Meinungsverschiedenheiten und unterstreicht die feinen und subjektiven Nuancen, die der Drivelologie inhärent sind. Wir evaluieren eine Reihe von LLMs hinsichtlich Klassifikation, Generierung und Schlussfolgerung. Unsere Ergebnisse zeigen deutliche Grenzen der LLMs auf: Modelle verwechseln Drivelologie häufig mit oberflächlichem Nonsens, liefern inkonsistente Begründungen oder erkennen die implizite rhetorische Funktion gänzlich nicht. Diese Befunde verdeutlichen eine tiefere Lücke in der pragmatischen Verständnisfähigkeit von LLMs und stellen die Annahme in Frage, dass statistische Sprachbeherrschung zwangsläufig kognitives Verständnis impliziert. Wir stellen unsere Datensammlung und den zugehörigen Code zur Verfügung, um weitere Forschung zu fördern, die darauf abzielt, sprachliche Tiefe jenseits der oberflächlichen Kohärenz zu modellieren.