発話対話におけるシーケンスラベリングのための階層的プレトレーニング

発話対話システムにおいて、対話行動（Dialog Act）や感情／センチメント識別といった系列ラベリングタスクは重要な構成要素である。本研究では、発話対話に適した汎用表現を学習する新たなアプローチを提案する。このアプローチは、我々が新たに構築したベンチマーク「Sequence Labelling Evaluation Benchmark for Spoken Language」（\texttt{SILICONE}）を用いて評価している。\texttt{SILICONE}はモデル非依存であり、サイズの異なる10種類の異なるデータセットを含む。我々は、Transformerアーキテクチャに基づく階層的エンコーダーを用いて表現を獲得し、既存の2つの代表的な事前学習目的を拡張した。事前学習は、23億語以上のトークンを含む大規模な発話対話コーパス「OpenSubtitles」上で実施された。本研究では、最先端モデルと比較して、パラメータ数が著しく少ないにもかかわらず競争力のある性能を達成できることを示すとともに、階層的エンコーダーが事前学習および微調整の両面で重要な役割を果たすことを明らかにする。