大規模言語モデルを用いたオープン情報抽出の改善：デモンストレーション不確実性に関する研究

オープン情報抽出（Open Information Extraction; OIE）タスクは、非構造化テキストから構造化された事実を抽出することを目的としており、通常は（主語、関係、目的語）の三つ組形式で表現される。大規模言語モデル（LLM）であるChatGPTのようなモデルは、汎用的なタスク解決者としての可能性を有しているが、OIEタスクにおいては、2つの主要な課題により、最新の教師あり（supervised）手法に及ばない。第一に、モデルのファインチューニングが制限されているため、LLMは関連する関係と無関係な文脈を区別できず、構造化出力を生成する能力に欠ける。第二に、LLMは確率に基づいて逐次的に応答を生成するため、予測された関係に対する信頼度が低くなる。本論文では、LLMがOIEタスクの性能向上に果たす可能性を評価する。特に、LLMの指示遵守能力を強化するための複数のコンテキスト内学習（in-context learning）戦略を提案するとともに、生成された関係の信頼度を高めるためのデモンストレーション不確実性評価モジュールを導入する。3つのOIEベンチマークデータセットを用いた実験の結果、本手法は定量的・定性的な観点から、既存の教師あり手法と同等の性能を発揮することが示された。