TransferTransfo: ニューラルネットワークに基づく対話エージェントの転移学習アプローチ

生成データ駆動対話システム（例：チャットボット）の新しいアプローチであるTransferTransfoについて紹介します。このアプローチは、転移学習に基づく訓練手法と大容量のトランスフォーマー模型を組み合わせたものです。微調整は、複数の非教師あり予測タスクを組み合わせたマルチタスク目的関数を使用して行われます。結果として得られた微調整済みモデルは、メモリ拡張seq2seqや情報検索モデルなどの現在の最先端のエンドツーエンド会話モデルに対して大幅な改善を示しています。プライベートに保有されているConversational Intelligence Challenge 2のPERSONA-CHATデータセットにおいて、このアプローチは新たな最先端の成果を達成し、それぞれ16.28（絶対値で45%向上）、80.7（絶対値で46%向上）、19.5（絶対値で20%向上）というパープレキシティ、Hits@1、F1スコアを記録しました。