PIQA: 自然言語における物理的常識の推論

ブラシを使わずにアイシャドウを塗る場合、コットンスワブとトゥピックのどちらを使用すべきでしょうか。このような物理的な常識を必要とする質問は、現代の自然言語理解システムにとって課題となっています。最近の事前学習モデル（例えばBERT）は、テキストが豊富な抽象的な領域（ニュース記事や百科事典のエントリーなど）での質問応答において進歩を遂げていますが、物理的な領域では報告バイアスによりテキストが本質的に制限されます。AIシステムは、物理的世界を経験せずに物理的な常識に基づく質問に信頼性を持って回答できるのでしょうか。本論文では、物理的常識推論というタスクとそれに伴うベンチマークデータセット「Physical Interaction: Question Answering」またはPIQAを紹介します。このデータセットは人間にとっては容易（正解率95%）ですが、大規模な事前学習モデルには難易度が高い（正解率77%）ことが示されています。私たちは既存のモデルが欠いている知識の次元について分析を行い、これにより今後の研究に大きな機会が提供される可能性があることを示しています。