DiPE：モノクロム動画からの深度および自己運動の教師なし学習における光度誤差の深層的探求

ラベルの付いていない単眼動画から奥行と自己運動を教師なし学習する手法は、近年大きな注目を集めている。このアプローチは、高価な真値（ground truth）を用いる教師あり学習を回避するものであり、ターゲット視点とその隣接するソース視点から合成された視点間の光度誤差（photometric error）を損失関数として利用することで実現している。しかし、顕著な進展にもかかわらず、依然として隠蔽（occlusion）やシーンの動的変化による影響が学習の課題となっている。本論文では、光度誤差を丁寧に操作することで、これらの困難をより効果的に克服できることを示している。主な改善点は、光度誤差マップにおける見えない領域や非定常なピクセルを統計的手法によりマスクする技術の導入である。これにより、ネットワークが誤った信号に誘導されるリスクが軽減され、カメラの進行方向とは逆方向に動く物体の奥行推定がより正確に可能となる。知られている限り、このような状況は従来の研究では十分に検討されておらず、自動運転など実用応用においては特に高いリスクを伴う。さらに、予測された奥行マップのアーティファクトを低減するため、効率的な重み付きマルチスケール手法を提案している。KITTIデータセットを用いた広範な実験により、提案手法の有効性が実証された。全体としてのシステムは、奥行推定および自己運動推定の両面で、現在の最先端（state-of-the-art）性能を達成している。