Command Palette

Search for a command to run...

4ヶ月前

ミラー検出のための意味的関係学習

{Rynson W.H. Lau Jiaying Lin Huankang Guan}

ミラー検出のための意味的関係学習

要約

一般的なミラーは一貫した視覚的外観を持たないため、ミラーの検出は非常に困難である。近年、文脈的な対比や対応関係を活用するアプローチが優れた成果を上げているが、これらの手法は複雑な現実世界のシーンにおいては、ドアウェイなどミラーと類似した特徴を持つ多くの物体が存在するため、文脈的対比や対応関係に過度に依存することで失敗しやすい。我々は、人間が特定の機能目的(例:洗面台の上にミラーを設置する)のために、ミラーを特定の物体と関連付けて配置する傾向があることに着目した。この観察に基づき、周囲の物体との意味的関連性を活用して信頼性の高いミラー局所化を実現するモデルを提案する。本モデルは、まず意味的サイドパスを用いて周囲物体のクラス固有の知識を取得する。その後、2つの新規モジュールを用いて意味的関連性を活用する:1)全結合グラフモデルに基づき、シーン内の物体間の関連性を抽出する「関連性探索(Associations Exploration, AE)モジュール」、および2)グラフ畳み込みを用いて意味的関連性知識の拡散と集約を促進する「四重グラフ(Quadruple-Graph, QG)モジュール」である。広範な実験により、本手法が既存手法を上回り、PMDデータセット(F値:0.844)およびMSDデータセット(F値:0.889)の両方で新たな最良性能(SOTA)を達成したことが確認された。

ベンチマーク

ベンチマーク方法論指標
image-segmentation-on-msd-mirror-segmentationSANet
F-measure: 0.877
IoU: 0.798
MAE: 0.054
image-segmentation-on-pmdSANet
F-measure: 0.795
IoU: 0.668
MAE: 0.032

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ミラー検出のための意味的関係学習 | 論文 | HyperAI超神経