Samuel Schapiro Sumuk Shashidhar Alexi Gladstone Jonah Black Royce Moon Dilek Hakkani-Tur Lav R. Varshney

要約

人工知能（AI）システム、特に大規模言語モデル（LLM）は、科学的アイデアの生成など創造的タスクへの応用がますます進んでおり、既存の概念的枠組みでは扱われていない訓練データからの一般化を実現している。コンポジショナル一般化（CG）と多くの点で類似しているものの、組み合わせ的創造性（CC）は開放的かつ無限の可能性を有する能力である。固定された基準値に対する正確性や正しさの評価は、CCの開放的性質と矛盾するため、本研究では、出力の新規性と有用性の度合いに基づいて評価する理論的枠組みとアルゴリズム的タスクを提案する。本研究は以下の重要な実証的貢献を行う：（1）LLMにおける創造性のスケーリング行動に関する初めての知見を得た。（2）固定された計算リソース予算のもとで、創造性に最適なモデルの深さと幅が存在することを発見した。（3）LLMが新規な科学的アイデアの生成には優れているが、その実現可能性を確保する点で困難を抱える「アイデア生成と実行のギャップ」は、一般的な創造性アルゴリズムに共通する、新規性と有用性のトレードオフというより根本的な性質によって説明できる可能性があることを明らかにした。特に重要なのは、このトレードオフはスケーリングが進んでも持続するため、現行の形態のLLMが長期的に持つ創造的潜在力に疑問を呈するものである。本研究の理論的枠組みと実証的知見は、現代のAIモデルにおける創造性の理解と向上に向けた基盤を提供し、一般化能力の新たなフロンティアを切り開くものである。