Command Palette
Search for a command to run...
{Rynson W.H. Lau Jiaying Lin Huankang Guan}

要約
一般的なミラーは一貫した視覚的外観を持たないため、ミラーの検出は非常に困難である。近年、文脈的な対比や対応関係を活用するアプローチが優れた成果を上げているが、これらの手法は複雑な現実世界のシーンにおいては、ドアウェイなどミラーと類似した特徴を持つ多くの物体が存在するため、文脈的対比や対応関係に過度に依存することで失敗しやすい。我々は、人間が特定の機能目的(例:洗面台の上にミラーを設置する)のために、ミラーを特定の物体と関連付けて配置する傾向があることに着目した。この観察に基づき、周囲の物体との意味的関連性を活用して信頼性の高いミラー局所化を実現するモデルを提案する。本モデルは、まず意味的サイドパスを用いて周囲物体のクラス固有の知識を取得する。その後、2つの新規モジュールを用いて意味的関連性を活用する:1)全結合グラフモデルに基づき、シーン内の物体間の関連性を抽出する「関連性探索(Associations Exploration, AE)モジュール」、および2)グラフ畳み込みを用いて意味的関連性知識の拡散と集約を促進する「四重グラフ(Quadruple-Graph, QG)モジュール」である。広範な実験により、本手法が既存手法を上回り、PMDデータセット(F値:0.844)およびMSDデータセット(F値:0.889)の両方で新たな最良性能(SOTA)を達成したことが確認された。
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| image-segmentation-on-msd-mirror-segmentation | SANet | F-measure: 0.877 IoU: 0.798 MAE: 0.054 |
| image-segmentation-on-pmd | SANet | F-measure: 0.795 IoU: 0.668 MAE: 0.032 |