Command Palette
Search for a command to run...
ごちゃごちゃした状況におけるワンショットセグメンテーション
ごちゃごちゃした状況におけるワンショットセグメンテーション
Michaelis Claudio Bethge Matthias Ecker Alexander S.
概要
本研究では、1つの指示例に基づいて、混雑したシーン内に存在する以前に見たことのない物体を検出・セグメンテーションする「ワンショットセグメンテーション」の問題に取り組む。我々は、これを評価するための新規データセット「cluttered Omniglot」を提案する。検出にシアメス埋め込みを、セグメンテーションにU-netを組み合わせたベースラインアーキテクチャを用いて、混雑度の増加に伴いタスクの難易度が顕著に上昇することを示した。また、さまざまな量の真値情報を得られるオラクルモデルを用いて、問題の異なる側面を評価し、この種の視覚的探索タスクにおいて、検出とセグメンテーションは相互に密接に関連しており、一方の解決が他方の解決を支援することを明らかにした。そこで、複数の候補位置に注目し、背景の混雑をマスクするセグメンテーション候補を生成し、その中から最適な物体を選択する新たなモデル「MaskNet」を提案する。本研究の結果から、物体検出と前景セグメンテーションを繰り返し精緻化するアプローチに基づく画像認識モデルは、極めて混雑したシーンに対処する有効な手段となり得ることが示唆された。