2ヶ月前

ConveRT: 変換器から得られる効率的で正確な会話表現

Matthew Henderson; Iñigo Casanueva; Nikola Mrkšić; Pei-Hao Su; Tsung-Hsien Wen; Ivan Vulić
ConveRT: 変換器から得られる効率的で正確な会話表現
要約

汎用の事前学習済み文エンコーダー、例えばBERTは、実世界の会話型AIアプリケーションには理想的ではありません。これらのモデルは計算量が大きく、処理速度が遅く、学習コストも高いからです。本稿では、会話タスク向けに設計されたConveRT(Conversational Representations from Transformers)という事前学習フレームワークを提案します。このフレームワークは以下の要件を全て満たしています:効果的であり、費用対効果が良く、かつ迅速に学習できます。双方向エンコーダーにおいて量子化とサブワードレベルのパラメータ化を効果的に活用し、リトリーバルベースの応答選択タスクを使用して事前学習を行います。これにより軽量でメモリ効率とエネルギー効率に優れたモデルを構築します。我々はConveRTが広く認知されている応答選択タスクにおいて最先端の性能を達成することを示しました。また、拡張された対話履歴をコンテクストとして使用することでさらなる性能向上が得られることも確認しました。さらに、提案したエンコーダーから得られる事前学習済み表現が意図分類タスクに転移可能であることを示し、3つの異なるデータセットで強力な結果を得ました。ConveRTは標準的な文エンコーダーや従来の最先端双方向エンコーダーと比較して大幅に高速に学習します。その小型化と優れた性能により、本モデルは会話型AIアプリケーションにおけるより広範な移植性とスケーラビリティを約束すると考えています。