本論文は、長短期記憶（Long Short-term Memory: LSTM）再帰型ニューラルネットワークを用いて、長期的な構造を持つ複雑な系列を生成する方法を示しています。この方法は、1つのデータポイントずつ予測することで実現されます。テキスト（データが離散的である場合）とオンライン手書き文字（データが連続値である場合）の生成に適用され、その効果が確認されています。さらに、ネットワークがテキストシーケンスに基づいて予測を条件づけることにより、手書き文字の合成にも拡張されました。これにより、多様なスタイルで非常に現実的な連筆文字の手書き文字を生成できるシステムが開発されました。