本研究では、行動とその行動に関連する意味的役割を果たす名詞エンティティからなる構造化「画像状況」を予測するため、再帰型ニューラルネットワーク（RNN）モデルを提案する。従来の条件付き確率場（CRF）に依存する手法とは異なり、本研究では行動予測用の専用ネットワークを用いた後、名詞予測にRNNを適用するアーキテクチャを採用している。このシステムは、近年注目されている難易度の高いimSituデータセットにおいて、最先端の精度を達成しており、追加データを用いて学習されたCRFベースのモデルをも上回っている。さらに、状況予測から学習された特徴量が、人間と物体の相互作用をより正確に記述する画像キャプション生成タスクへ転移可能であることを示した。