16日前
NODIS:Neural Ordinary Differential Scene Understanding
Cong Yuren, Hanno Ackermann, Wentong Liao, Michael Ying Yang, Bodo Rosenhahn

要約
意味画像理解はコンピュータビジョンにおける難易度の高い課題である。これは画像内のすべての物体を検出するだけでなく、それらの間のすべての関係を同定することを要する。検出された物体、そのラベル、および発見された関係を用いて、画像の抽象的な意味的解釈を提供するシーングラフを構築することができる。従来の手法では、関係の同定が混合整数線形計画問題(Mixed-Integer Linear Program, MILP)として定式化された割当問題として解かれていた。本研究では、この定式化を通常微分方程式(Ordinary Differential Equation, ODE)として解釈する。提案するアーキテクチャは、エンドツーエンド学習によりニューラルODEの変種を解くことで、シーングラフ推論を実現する。この手法は、Visual Genomeベンチマークにおける3つの標準的な評価タスク—シーングラフ生成(SGGen)、分類(SGCls)、視覚的関係検出(PredCls)—において、いずれも最先端の性能を達成した。