自己修正ネットワークを用いた教師なしインテリア深度推定

ラベルなし動画から学習したCNNを用いた単一視点深度推定は、顕著な可能性を示している。しかし、優れた結果は主に街中ドライブシーンにおいて得られており、他の設定、特に手持ちデバイスで撮影された屋内動画では、しばしば失敗する。本研究では、手持ち設定で見られる複雑な自己運動（ego-motion）が深度学習の主要な障壁であることを明らかにした。基礎的分析から、学習過程において回転成分はノイズとして振る舞う一方、並進（基線）成分は監督信号として機能することが示された。この課題に対処するため、相対的な回転成分を除去することで訓練画像を補正するデータ前処理手法を提案する。その効果は、性能の顕著な向上によって裏付けられている。前処理を不要とするエンドツーエンド学習を実現するため、新たな損失関数を備えた自動補正ネットワーク（Auto-Rectify Network）を提案。このネットワークは学習中に画像の補正を自動的に学習可能である。その結果、挑戦的なNYUv2データセットにおいて、従来の非教師ありSOTA手法を大幅に上回る性能を達成した。さらに、学習済みモデルの一般化能力をScanNetおよびMake3Dデータセットで検証し、提案手法の普遍性を7-ScenesおよびKITTIデータセット上で確認した。