要約
シーンフロー推定は、3D環境認識においてますます注目されている。単眼シーンフロー推定——連続する2枚の時系列画像から3D構造および3D運動を推定する——は極めて不適切な問題（ill-posed problem）とされ、実用的な解決策はこれまで存在しなかった。本研究では、競争力ある精度とリアルタイム性能を両立する新たな単眼シーンフロー推定手法を提案する。逆問題（inverse problem）の視点から、古典的な光流コストボリュームから深度と3D運動を同時に推定できる単一の畳み込みニューラルネットワーク（CNN）を設計した。ラベルなしデータを活用するため、3D損失関数を用いた自己教師学習（self-supervised learning）とオクルージョン推論を採用した。また、代理損失（proxy loss）や増強設定（augmentation setup）といった設計選択の妥当性を検証した。提案手法は、単眼シーンフローにおける非教師／自己教師学習アプローチの中で最先端の精度を達成し、光流推定および単眼深度推定のサブタスクにおいても競争力ある結果を示した。半教師あり微調整（semi-supervised fine-tuning）によりさらに精度が向上し、リアルタイム処理においても有望な性能を発揮した。