HyperAIHyperAI

Command Palette

Search for a command to run...

空間情報誘導型畳み込みによるリアルタイムRGBDセマンティックセグメンテーション

Lin-Zhuo Chen Zheng Lin Ziqin Wang Yong-Liang Yang Ming-Ming Cheng

概要

3次元空間情報は、意味的セグメンテーションタスクにおいて有益であることが知られている。既存の大多数の手法は、3次元空間情報を追加入力として扱い、RGB画像と3次元空間情報を別々に処理する二重ストリームのセグメンテーションネットワークを採用している。このアプローチは推論時間を著しく増加させ、リアルタイム応用への適用範囲を大きく制限している。本研究では、この問題を解決するために、空間情報に従って畳み込みカーネルのサンプリングオフセットを推定できる効率的なRGB特徴量と3次元空間情報の統合を実現する「空間情報誘導畳み込み(S-Conv)」を提案する。S-Convは、3次元空間情報に基づいて畳み込み層の受容 field を調整し、幾何変換に適応する能力を高める。さらに、空間的に適応的な畳み込み重みを生成することで、幾何情報が特徴学習プロセスに組み込まれる。パラメータ量および計算コストの増加をほとんど引き起こさず、幾何形状の認識能力が大幅に向上する。本手法を意味的セグメンテーションネットワークに組み込み、S-Convを活用する「空間情報誘導畳み込みネットワーク(SGNet)」を構築した。その結果、NYUDv2およびSUNRGBDデータセットにおいて、リアルタイム推論を実現しつつ、最先端の性能を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています