本論文では、複数の自然言語理解タスク間でのテキスト表現学習を改善するために、知識蒸留法をマルチタスク深層ニューラルネットワーク（MT-DNN）(Liu et al., 2019)に適用する方法について検討します。アンサンブル学習はモデルの性能向上に寄与しますが、大規模なDNN（例えばMT-DNN）のアンサンブルを運用することは非常に高コストとなる可能性があります。そこで、本研究では多タスク学習環境下で知識蒸留法(Hinton et al., 2015)を用います。各タスクに対して、単一のモデルよりも優れた性能を発揮する異なるMT-DNNのアンサンブル（教師モデル）を訓練し、その後、多タスク学習を通じてこれらのアンサンブル教師モデルから知識を抽出する単一のMT-DNN（学生モデル）を訓練します。実験結果から、抽出されたMT-DNNは9つのGLUEタスク中の7つにおいて元のMT-DNNを大幅に上回ることが示されました。これによりGLUEベンチマーク（単一モデル）が83.7%に達し、絶対値で1.5%の性能向上が確認されました\footnote{2019年4月1日時点でのGLUEリーダーボード (https://gluebenchmark.com/leaderboard) を基にしています。}。本研究で使用したコードと事前学習済みモデルは、https://github.com/namisan/mt-dnn にて公開予定です。