文脈的手がかりを用いた文脈外オブジェクトの検出

本稿では、画像内の文脈外（Out-of-Context, OOC）オブジェクトを検出する手法を提示する。与えられた画像に複数のオブジェクトが存在する状況下で、その中のあるオブジェクトがシーンの文脈と整合しないかどうかを判断し、OOCオブジェクトをバウンディングボックスで検出することを目的とする。本研究では、一般的に検討されている文脈的関係、すなわちオブジェクト間の共起関係、他のオブジェクトに対する相対的なサイズ、およびシーン内での位置関係を考慮する。我々は、文脈的ヒントが文脈内（in-context）のオブジェクトのラベル推定に有用である一方で、文脈と整合しないヒントはOOCオブジェクトのラベル推定を妨げるという仮説を提示する。この仮説を実現するため、OOCオブジェクトを検出するためのグラフ文脈推論ネットワーク（Graph Contextual Reasoning Network, GCRN）を提案する。GCRNは、画像内の文脈的ヒントに基づいてオブジェクトラベルを予測するための2つの独立したグラフから構成される：1）隣接するオブジェクトに基づいてオブジェクト特徴を学習する「表現グラフ」、および2）隣接オブジェクトから文脈的ヒントを明示的に捉える「文脈グラフ」。GCRNは文脈的ヒントを明示的に捉えることで、文脈内オブジェクトの検出精度を向上させるとともに、文脈関係に違反するオブジェクトを特定する能力を有する。本手法の有効性を検証するため、COCO画像にOOCオブジェクトのインスタンスを追加して大規模なデータセットを構築した。また、最近のOCDベンチマークでも評価を行った。実験結果から、GCRNはOOCオブジェクトの検出および文脈内オブジェクトの正しく検出において、競合するベースライン手法を上回ることを示した。