要約
要約の自動スコアリングは、要約生成手法の開発を促進する上で重要である。しかし、スコアリングは文の自然さや文法的正確さ、さらには元のテキストとのテキスト含意（textual entailment）など、多様な側面を含むため、複雑な課題である。一方で、要約スコアリングはその正確性や耐障害性を検証するための機械学習タスクとしてこれまで十分に検討されてこなかった。本研究では、自動スコアリングを回帰型機械学習タスクの文脈に位置づけ、エヴァージョン攻撃（evasion attack）を用いてその耐障害性を検証した。攻撃システムは、入力テキストに対して非要約文字列を予測し、その非要約文字列がROUGE、METEOR、BERTScoreといった最も一般的な評価指標において、優れた要約生成手法と同等のスコアを達成した。さらに、ROUGE-1およびROUGE-Lでは最先端の要約手法を「上回る」スコアを記録し、METEORでは2位のスコアを獲得した。また、BERTScoreにおけるバックドア攻撃が観察された：単純なトリガーを含む入力に対して、あらゆる自動要約手法を上回るスコアが得られた。本研究におけるエヴァージョン攻撃の結果から、現在のスコアリングシステムはシステムレベルで極めて低い耐障害性を有していることが示された。本研究で提案する攻撃手法の提示を通じて、今後の要約スコアリングの信頼性向上に貢献できることを期待する。