我々は、視覚的な物語生成タスクにおける一貫性のある複数文の物語を計画するための課題に対処するために、階層構造を持つ強化学習アプローチを提案します。当方針では、画像列から物語を生成するタスクが2段階の階層デコーダーに分割されます。上位レベルのデコーダーは、画像列の各画像に対して意味的な概念（つまり、トピック）を生成することにより計画を作成します。下位レベルのデコーダーは、意味合成ネットワークを使用して各画像に対する文を生成し、このネットワークはトピックに基づいて文生成を効果的に根ざします。両方のデコーダーは強化学習を用いてエンドツーエンドで共同訓練されます。我々のモデルは視覚的な物語性データセット（VIST）上で評価されました。自動評価と人間による評価からの経験的結果は、提案された階層構造を持つ強化学習訓練が、強力な平らな深層強化学習ベースラインと比較して著しく優れた性能を達成していることを示しています。