3ヶ月前

DUMA:入れ替え思考を用いた読解

Pengfei Zhu, Hai Zhao, Xiaoguang Li
DUMA:入れ替え思考を用いた読解
要約

マルチチョイス機械読解(MRC)は、与えられた本文と質問に対して、複数の選択肢の中から正しい答えを特定する能力をモデルに求めます。このため、強力な事前学習言語モデル(PrLM)をエンコーダとして用いることの他に、マルチチョイスMRCは特に、本文、質問、および選択肢の三者間の関係を効果的に捉えることのできるマッチングネットワークの設計に依存しています。近年のより強力なPrLMが、マッチングネットワークの支援なしでも顕著な性能を発揮している一方で、本研究では、人間がマルチチョイスMRC問題を解く際に用いる「転置的思考プロセス」に着想を得た新たなDUal Multi-head Co-Attention(DUMA)モデルを提案します。このモデルは、本文と質問の両者からそれぞれ相手の注目点を考察するという視点を採用しており、三者間の関係をより深く捉えることを目的としています。評価結果から、提案手法であるDUMAは有効であることが示され、一般的にPrLMの性能を向上させることに成功しました。本手法は、2つのベンチマークマルチチョイスMRCタスク(DREAMおよびRACE)において評価され、強力なPrLMを用いた状況下でも、DUMAがモデル性能をさらに向上させ、新たな最先端の性能を達成できることを示しました。