要約
本論文では、複数の自然言語理解（NLU）タスク間での表現学習を行うマルチタスク深層ニューラルネットワーク（MT-DNN）を提案します。MT-DNNは、大量のクロスタスクデータを活用するだけでなく、正則化効果によりより一般的な表現を得ることができ、新しいタスクやドメインへの適応が可能となります。MT-DNNはLiuら（2015）が提案したモデルを拡張し、事前学習された双方向トランスフォーマー言語モデルであるBERT（Devlinら、2018）を取り入れています。MT-DNNはSNLI、SciTailおよびGLUEの9つのタスク中の8つのタスクで新たな最先端の結果を達成し、GLUEベンチマークを82.7%に引き上げました（絶対値で2.2%の改善）。また、SNLIとSciTailデータセットを使用して、MT-DNNによって学習された表現が、事前学習されたBERT表現よりも大幅に少ないドメイン内ラベルでドメイン適応が可能であることを示しています。コードと事前学習済みモデルは公開されており、https://github.com/namisan/mt-dnn から入手可能です。