18日前
説明のためのプロンプト提示は、敵対的NLIを改善する。これは正しい。なぜなら、表面的な手がかりを弱めるからである。
{Kentaro Inui, Benjamin Heinzerling, Ana Brassard, Pride Kavumba}

要約
説明付きプロンプト(explanation prompts)は、自然言語推論(natural language inference)の文脈において「真(true)」「含意(entailment)」「矛盾(contradiction)」といった特定のラベルを入力に割り当てるだけでなく、そのラベルを支持する自由テキスト形式の説明を生成するように言語モデルに指示するものである。たとえば、「これはラベルである。理由は説明である。」という形式である。このタイプのプロンプトは当初、モデルの解釈可能性(interpretability)を向上させることを目的として導入されたが、本研究では、説明付きプロンプトが自然言語推論のベンチマークにおける敵対的摂動(adversarial perturbations)に対して高いロバスト性(堅牢性)をもたらすことも示している。ラベルのみを求めるプロンプトと比較して、説明付きプロンプトは敵対的ベンチマークにおいて一貫して優れた性能を発揮し、Adversarial Natural Language Inference(ANLI)、Counterfactually-Augmented Natural Language Inference(CNLI)、SNLI-Hardの各データセットにおいて、従来の最先端手法を上回っている。我々は、このロバスト性の向上が、説明の生成を要求することで表面的な手がかり(superficial cues)の影響が弱まるためだと主張する。具体的には、ラベルのみの設定では正解に強く予測力をもつ単一のトークン(token)が、説明の生成を伴う設定では、その予測力が失われ、情報量が低下するのである。