要約
コンピュータビジョンは、大規模な教師あり学習データセット（例：ImageNet）で事前学習された重みを使用して複数の深層を初期化することにより恩恵を受けている。自然言語処理（NLP）では、通常、深層モデルの最下層のみが事前学習された単語ベクトルで初期化される。本論文では、機械翻訳（MT）のために訓練された注意機構付きシーケンス・ツー・シーケンスモデルの深層LSTMエンコーダーを使用して、単語ベクトルに文脈を付与する方法について述べる。我々は、これらの文脈ベクトル（CoVe）を追加することで、教師なしの単語および文字ベクトルのみを使用する場合よりも、一般的なNLPタスクにおいて性能が向上することを示す。これらのタスクには、感情分析（SST, IMDb）、質問分類（TREC）、意味包含関係判定（SNLI）、および質問応答（SQuAD）が含まれる。微細な感情分析と意味包含関係判定において、CoVeは基準モデルの性能を最先端レベルまで向上させる。以上が指定された要件に基づく日本語訳です。