私たちは、汎用的な分散型文章エンコーダの非監督学習に関するアプローチを説明します。書籍のテキストの連続性を利用し、エンコードされた文章の周辺文章を再構築しようとするエンコーダ-デコーダモデルを訓練します。これにより、意味的および文法的に類似した文章は、類似したベクトル表現にマッピングされます。次に、訓練中に見られなかった単語をエンコードするための単純な語彙拡張手法を導入します。これにより、私たちの語彙は100万語まで拡大できます。モデルの訓練後、線形モデルを使用して8つのタスク（意味的関連性、パラフレーズ検出、画像-文章ランキング、質問タイプ分類および4つのベンチマーク感情・主観性データセット）でベクトルを抽出・評価します。最終結果として、堅牢で実践的に優れた性能を持つ汎用的な文章表現を生成できるオフザシェルフのエンコーダが得られます。このエンコーダは公開される予定です。