Yang Wang Chenghao Xiao Chia-Yi Hsiao Zi Yan Chang Chi-Li Chen Tyler Loakman Chenghua Lin

要約

ドライブロロジー（Drivelology）を紹介する。これは「深みのある無意味さ」として特徴づけられる、独創的な言語現象である。ドライブロロジーとは、文法的に整合性はあるが、実用的・意味的パラドックスを呈し、感情的負荷を帯びたり、修辞的に反逆的であるような発話である。このような表現は表面上は無意味に見えるが、文脈推論、道徳的判断、あるいは感情的理解を要する、隠された意味を内包している。本研究では、現在の大規模言語モデル（LLM）が、多くの自然言語処理（NLP）タスクにおいて優れた性能を発揮しているにもかかわらず、ドライブロロジーのテキストに内在する多層的な意味構造を一貫して捉えられていないことを明らかにした。この問題を検証するため、1,200件を超える精査された例から構成された、小規模ながら多様性に富むベンチマークデータセットを構築した。その中には英語、中国語（現代語）、スペイン語、フランス語、日本語、韓国語の選択例も含まれている。アノテーションは特に困難を伴った。各例が真正にドライブロロジーの特徴を反映しているかを確認するため、専門家による慎重なレビューが必須であり、意見の相違を解消するため、複数回の議論と調整プロセスを経た。このプロセスは、ドライブロロジーの持つ繊細で主観的な性質を浮き彫りにした。我々は、分類、生成、推論といった複数のタスクにおいて、さまざまなLLMを評価した。その結果、LLMの明確な限界が示された。モデルはドライブロロジーを浅い無意味さと混同しやすく、整合性のない説明を生成するか、あるいは意図された修辞的機能をまったく見逃してしまう傾向がある。これらの結果は、LLMの実用的・意味的理解に深い表現的ギャップが存在することを示しており、統計的な文語的流暢さが認知的把握を意味するという前提に疑問を呈するものである。本研究では、表面的な整合性を超える言語的深さをモデル化するための今後の研究を促進するため、データセットおよびコードを公開する。