要約
生成的な常識推論タスク（CommonGenなど）において、生成型の大規模言語モデル（LLMs）は与えられたすべての概念を含む文章を作成します。しかし、指示に従う能力に焦点を当てる場合、プロンプトが特定の概念順序を指定すると、LLMはその順序に従った文章を生成する必要があります。この課題に対処するために、我々はOrdered CommonGenというベンチマークを提案します。このベンチマークは、概念が指定された順序で生成されているかどうかを評価するための順序カバレッジを測定し、両方の能力を同時に評価することを可能にします。我々は36のLLMを使用して包括的な分析を行い、LLMが一般的には指示の意図を理解しているものの、特定の概念順序パターンへの偏りにより多様性の低い出力や、概念順序が変更されても同一の結果が出力されることがしばしばあることを発見しました。さらに、最も指示に従う能力が高いLLMでも約75%の順序カバレッジしか達成できなかったことから、指示に従う能力と組み合わせ一般化能力の両方における改善が必要であることが明らかになりました。