11日前

複数選択型機械読解における回答の不確実性と回答不可能性

{Mark Gales, Vatsal Raina}
複数選択型機械読解における回答の不確実性と回答不可能性
要約

機械読解(Machine Reading Comprehension: MRC)は、システムの自然言語理解能力を評価する手法として、近年注目を集めている。通常、MRCシステムは文脈となる段落と質問が与えられた際に、正しい答えを選択することを目指す。しかし、複数選択式MRCシステムの多くの応用において、以下の2つの追加的な考慮事項が重要となる。第一に、複数選択式の試験では、誤答に対して減点(ネガティブマーキング)が設けられることが一般的である。この点をMRCシステムに反映すると、システムは予測された答えに対する不確実性(uncertainty)を把握する能力が求められる。第二に、多くの複数選択問題には「上記のいずれでもない(None-of-the-Abowe: NOA)」という選択肢が存在し、その意味は選択肢のうち正しい答えが含まれていないことを示す。すなわち、常に正しい答えが選択肢に存在するわけではない。本研究では、これらの課題を予測不確実性(predictive uncertainty)を活用して検討する。システムが答えを提示すべきかどうかは、直接的に答えの不確実性の応用に該当する。NOA選択肢の扱いについては、2つのアプローチが考えられる。最も単純な方法は、NOA選択肢を含むデータ上でシステムを構築することである。もう一つのアプローチは、他の選択肢に正しい答えが含まれているかどうかを不確実性を用いて検出することである。システムが十分な信頼性を持てない場合、NOAを選択する。しかし、これらの課題を検証するための標準的なコーパスは存在しないため、本研究ではReClorコーパスを改変し、一部の問題において正しい答えを選択肢から削除した。その後、高性能なMRCシステムを用いて、答えの不確実性がこれらの状況に適用可能かどうかを評価した。その結果、不確実性を用いることで、システムが自信を持てない問題を検出できることを示した。さらに、NOA選択肢を明示的に組み込んだシステムよりも、不確実性に基づくアプローチが優れた性能を発揮することが明らかになった。

複数選択型機械読解における回答の不確実性と回答不可能性 | 最新論文 | HyperAI超神経