ユニバーサル文エンコーダー

私たちは、他の自然言語処理（NLP）タスクへの転移学習を目的とした文章を埋め込みベクトルにエンコードするモデルを提案します。これらのモデルは効率的であり、多様な転移タスクにおいて正確な性能を達成しています。エンコーディングモデルの2つのバリエントは、精度と計算リソースの間でトレードオフを可能にします。両方のバリエントについて、モデルの複雑さ、リソース消費量、転移タスクの訓練データの可用性、およびタスク性能の関係を調査し報告します。単語レベルでの転移学習を行う事前学習済み単語埋め込みを使用するベースラインと、いかなる転移学習も使用しないベースラインとの比較を行います。私たちは、文章埋め込みを使用した転移学習が単語レベルの転移よりも優れていることを確認しました。文章埋め込みによる転移学習では、監督付き訓練データが最小限でも驚くほど良い性能が得られることを観察しました。また、モデルバイアス検出を目的とした単語埋め込み連想テスト（Word Embedding Association Tests: WEAT）においても有望な結果を得ています。私たちが事前に学習した文章エンコーディングモデルは無料でダウンロード可能であり、TF Hub でも提供されています。