本研究では、複数人対話における階層的表現を学習するための新しいTransformerアプローチを提案する。まず、トークンレベルおよび発話レベルの言語モデリング、および発話順序予測の3つの言語モデリングタスクを用いてTransformerを事前学習することで、対話文脈における理解を向上させるためのトークン埋め込みと発話埋め込みを同時に学習する。次に、発話予測とトークンスパン予測のマルチタスク学習を活用し、スパンベースの質問応答（QA）タスク向けに微調整を行う。提案手法はFriendsQAデータセット上で評価され、BERTおよびRoBERTaという2つの最先端Transformerモデルと比較して、それぞれ3.8%および1.4%の性能向上を達成した。