AuGPT: エンドツーエンド対話における補助タスクとデータ拡張についての事前学習言語モデル

注意に基づく事前学習言語モデル（GPT-2など）は、エンドツーエンドの対話モデリングにおいて大きな進歩をもたらしました。しかし、これらのモデルはタスク指向型対話においても、知識の根拠不足や多様性の欠如などの著しいリスクを呈しています。これらの問題に対処するため、言語モデルの微調整向けに修正された学習目標を導入し、逆翻訳を用いた大規模なデータ拡張により訓練データの多様性を高めています。さらに、複数のソースからのデータを組み合わせることで、目標データセットでの性能向上の可能性を探っています。我々は、人間評価と自動評価の両方を用いて慎重に貢献度を評価しました。結果として、提案したモデルはMultiWOZデータにおいてベースラインを大幅に上回り、自動評価および人間評価において最先端技術と競合する性能を示しました。