要約
シーンを深く理解するためには、個々の物体の位置特定や認識だけでなく、それらの間の関係性と相互作用を推論することも必要です。しかし、現実世界における関係性の分布は深刻な偏りがあり、既存の手法では頻度が低い関係性に対して非常に劣った性能を示します。本研究では、物体ペアとその関係性との間の統計的相関関係が意味空間を効果的に正規化し、予測を曖昧にさせないことで、この偏った分布問題を解決できることが明らかになりました。これを達成するために、これらの統計的相関関係を深層ニューラルネットワークに組み込み、シーングラフ生成を支援するための知識埋め込みルーティングネットワーク（Knowledge-Embedded Routing Network）を開発しました。より具体的には、画像中に出現する物体とその関係性との間の統計的相関関係が構造化された知識グラフによって明確に表現できることを示し、メッセージ伝播を行うためのルーティングメカニズムが学習され、それらの相互作用を探求します。大規模なVisual Genomeデータセットでの広範な実験により、提案手法が現行の最先端技術よりも優れていることが証明されました。