多くの自然言語処理アプリケーションは、テキスト生成に言語モデルを使用しています。これらのモデルは通常、前の単語と画像などのコンテクストを基に、シーケンスの次の単語を予測するように訓練されます。しかし、テスト時にはモデルがゼロから全体のシーケンスを生成することが期待されます。この乖離により、生成過程が脆弱となり、途中で誤りが累積する可能性があります。本研究では、この問題に対処するために、テスト時に使用されるBLEUやROUGEなどの指標を直接最適化する新しいシーケンスレベルの訓練アルゴリズムを提案します。3つの異なるタスクにおいて、当手法は貪欲生成のためのいくつかの強力なベースラインを上回りました。また、これらのベースラインがビームサーチを用いても競争力がありつつ、数倍速い結果を得ています。