2ヶ月前

床は平らである:意味論を活用したリアルタイムの表面法線予測

Steven Hickson; Karthik Raveendran; Alireza Fathi; Kevin Murphy; Irfan Essa
床は平らである:意味論を活用したリアルタイムの表面法線予測
要約

本研究提出了4つの洞察点,これらの洞察点は単一のRGB画像から表面法線と意味ラベルを予測する深層学習モデルの性能を大幅に向上させるのに役立ちます。これらの洞察点は以下の通りです:(1) 訓練セット内の「真値」(ground truth)表面法線をノイズ除去し、意味ラベルとの整合性を確保すること;(2) 事前学習で合成データを使用し、微調整で実際のデータを使用する代わりに、実際のデータと合成データの混合データセット上で同時学習を行うこと;(3) 法線と意味を共有モデルを使用して共同で予測するが、誤差逆伝播は有効な訓練ラベルを持つピクセルのみに行うことで精度を高めること;(4) モデルを軽量化し、入力としてカラーではなくグレースケール画像を使用すること。これらの手順は単純であるにもかかわらず、我々は標準的な携帯電話で12 fpsで動作するモデルを使用して、複数のデータセットにおいて一貫した改善結果を示しています。