構造化視覚分類問題において、意味的スパース性（semantic sparsity）は一般的な課題である。出力空間が複雑な場合、可能な予測の大部分は、訓練データにおいてほとんど、あるいはまったく観測されない。本研究では、画像内で何が起きているかを、行動、物体、および物体が行動の中で果たす役割といった構造的な要約として生成する「状況認識（situation recognition）」というタスクにおける意味的スパース性に着目する。この問題に関して、我々は経験的に、多くの物体-役割組み合わせが稀であることを確認した。また、現在の最先端モデルは、このようなスパースなデータ環境下で著しく性能を発揮できていないことも明らかになった。この課題を克服するために、我々は（1）役割-名詞の組み合わせ間で例を共有する能力を学習する新たなテンソル構成関数を導入し、（2）Webデータから自動的に収集した稀に観測される出力の例を用いて、訓練データを意味的に拡張する手法を採用した。これらの手法を完全なCRFベースの構造化予測モデルに統合した結果、トップ5の動詞精度および名詞-役割精度において、それぞれ2.11%および4.40%の相対的な性能向上が達成された。さらに、本研究の意味的拡張手法を用いて500万枚の画像を追加することで、トップ5の動詞精度および名詞-役割精度において、それぞれ6.23%および9.57%のさらなる相対的改善が得られた。