SegStereo: セマンティック情報を利用した視差推定

二眼ステレオ画像の視差推定は幅広い応用を持つ。従来のアルゴリズムは特徴のない領域で失敗する可能性があるが、セマンティックセグメンテーションなどの高レベルな手がかりを用いることで対処できる。本論文では、適切にセマンティック手がかりを取り入れることにより、一般的に使用されている視差推定フレームワークでの予測精度を大幅に改善できると提案している。当手法はセマンティック特徴量の埋め込みを行い、学習の視差を向上させるためにセマンティック手がかりを損失項として正規化する。統一モデルであるSegStereoは、セグメンテーションから得られるセマンティック特徴量を用いて、セマンティックソフトマックス損失を導入し、視差マップの予測精度向上に寄与する。このセマンティック手がかりは非教師あり学習および教師あり学習の両方において効果的に機能する。SegStereoはKITTI Stereoベンチマークで最先端の結果を達成しており、CityScapesおよびFlyingThings3Dデータセットでも良好な予測性能を示している。