AIに勝つ：読解に対する敵対的ヒューマンアノテーションの検討

アノテーション手法の革新は、読解理解（RC）データセットおよびモデルの発展を牽引してきた。近年、現行のRCモデルに挑戦する一例として、モデルをアノテーションプロセスに組み込むアプローチが注目されている。具体的には、人間がモデルが正しく回答できないように逆説的な質問を設計するという手法である。本研究では、このアノテーション手法を3つの異なる設定で検討し、アノテーションループ内で段階的に強化されたモデルを用いて、合計36,000件のサンプルを収集した。これにより、逆説的効果の再現性、異なるモデル強度で収集されたデータ間の転移性、およびモデルを含まないアノテーションデータへの一般化性能といった課題を検証できるようになった。その結果、逆説的に収集されたサンプルで学習させることで、非逆説的データセットへの強い一般化性能が得られることがわかった。しかし、アノテーションループ内で使用するモデルが強化されるにつれて、性能の劣化が進行することも明らかになった。さらに、強力なモデルでも、著しく弱いモデルをループに含むデータセットから学習可能であることが判明した。特に、BiDAFモデルをループに含んで収集されたデータで学習させたRoBERTaは、SQuADデータで学習した場合に自身が回答できない質問に対して39.9 F1を達成し、RoBERTa自身をループに用いてデータ収集した場合の41.0 F1と比較して、わずかに低い水準にとどまった。