大規模言語モデルは赤い鯉に固定される：Only Connect Wall データセットを使用した創造的問題解決とエインステル効果の探求

人間の模倣AIへの追求は、AI研究が誕生して以来、持続的なテーマとなっています。最新の大規模言語モデル（LLMs）の技術進歩と新規能力の出現により、この主題は学術界だけでなく、文化的なトレンドにも再び活気を与えています。最近の自然言語処理（NLP）評価ベンチマークタスクでは、人間の模倣行動のいくつかの側面（例：BIG-benchの「人間らしい行動」タスク）がテストされていますが、創造的な問題解決能力を検証するものはほとんど存在しません。人間における創造的な問題解決は、認知神経科学においてよく研究されており、標準化されたテストでは主に手がかりとなる単語間での（異質な）関連性を結びつける能力を創造性の指標として使用しています。誤った刺激物（レッドヘリンと呼ばれる誘導要素）への露出は、固定効果やエイントシュテルングパラダイムを通じて人間のパフォーマンスを阻害します。認知神経科学的研究では、参加者に対して後続の単語断片や手がかりと正書法的に類似した誤った単語を事前に提示することで、このような固定化を実験的に誘発しています。英国の人気クイズ番組『Only Connect』の「Connecting Wall」セグメントは、Mednickの遠隔連想テスト（RAT）形式を本質的に模倣しており、意図的にレッドヘリンが組み込まれているため、大規模言語モデルにおける認知神経科学的な固定効果やエイントシュテルングパラダイムを探索・研究するのに理想的な代理データセットとなっています。本論文では、新しい『Only Connect Wall』（OCW）データセットを紹介し、選択した事前学習済み言語モデルおよび大規模言語モデルに対する創造的な問題解決タスク（例えば、異質な関連性で手がかりとなる単語をグループ化したり、各グループ内の正しいオープン知識ドメインの関連性を特定したりするタスク）での評価結果を報告します。さらに、レッドヘリン仮説について言語モデルでより詳細に分析するために、「OCW-Randomized」と「OCW-WordNet」という2つの追加データセットを合成生成しました。コードとデータセットへのリンクは https://github.com/TaatiTeam/OCW で利用可能です。