CommonGen：生成的な共通知識推論のための制約付きテキスト生成チャレンジ

近年、大規模な事前学習済み言語モデルは、複数の常識推論ベンチマークデータセットにおいて優れた性能を示している。しかし、現実的で自然な文を生成するための常識を持つ機械の構築は依然として困難である。本論文では、生成的な常識推論能力を明示的に評価するための制約付きテキスト生成タスク「CommonGen」と、それに基づくベンチマークデータセットを提示する。与えられた共通の概念の集合（例：{dog, frisbee, catch, throw}）を用いて、日常的な場面を一貫性のある文で表現する（例：「男がフリスビーを投げ、彼の犬がそれをキャッチする」）ことがタスクの目的である。CommonGenタスクは、内在的に以下の2つの要件を必要とするため、困難である。1）背景にある常識知識に基づく関係性推論、2）未知の概念組み合わせに対しても一般化できる構成的推論能力。本研究で構築したデータセットは、クラウドソーシングと既存のキャプションコーパスを組み合わせて作成され、35,000のユニークな概念セットに対して79,000件の常識的記述を含む。実験の結果、最先端のテキスト生成モデル（例：T5）と人間のパフォーマンスの間には大きなギャップが確認された。さらに、学習された生成的常識推論能力が、追加の文脈を生成することで、下流タスク（例：CommonsenseQA）の性能向上に転移可能であることを示した。