私たちは、単語の使用における複雑な特性（例：文法と意味論）だけでなく、これらの使用が言語的文脈によってどのように変化するか（すなわち、多義性をモデル化する）を表す新しい種類の深層文脈化された単語表現を導入します。私たちの単語ベクトルは、大規模なテキストコーパスで事前学習された深層双方向言語モデル（biLM）の内部状態の学習関数として定義されます。これらの表現が既存のモデルに簡単に追加でき、質問応答、テキスト意味包含判定、感情分析など6つの挑戦的な自然言語処理問題において現行の最先端技術を大幅に改善することを示しています。また、事前学習済みネットワークの深層内部を公開することが重要であることを分析で示しており、これにより下流モデルが異なる種類の半教師あり信号を混合することが可能になります。