MPC-BERT: 多者会話理解のための事前学習言語モデル

最近、多者会話（MPC）向けの様々なニューラルモデルが、発話者認識、話者識別、応答予測などの多くのタスクで著しい改善を達成しています。しかし、これらの既存のMPC手法は通常、対話者と発話を個別に表現し、MPCに内在する複雑な構造を無視しています。この構造は重要な対話者および発話の意味論を提供し、会話理解プロセスを強化する可能性があります。これに対処するために、私たちはMPC-BERTという事前学習モデルを提案します。このモデルは統一されたフレームワークにおいて「誰が何を誰に言ったか」を学習することを目指しており、いくつかの洗練された自己監督タスクを用いています。特に、これらのタスクは(1) 対話者の構造モデリング（返信先発話認識、同一話者探索、ポインタの一貫性区別）、(2) 発話の意味論モデリング（マスクされた共有発話の復元、共有ノード検出）に大別されます。私たちはMPC-BERTを3つの下流タスク（発話者認識、話者識別、応答選択）で評価しました。実験結果は、MPC-BERTが以前の手法よりも大幅に優れており、2つのベンチマークにおける全ての3つの下流タスクで新しい最先端性能を達成していることを示しています。