StereoNet: 導かれる階層的精緻化によるリアルタイムのエッジ認識深度予測

本論文では、StereoNetを提案します。これは、NVidia Titan X上で60 fpsで動作する初めてのエンドツーエンドの深層アーキテクチャであり、高品質でエッジを保った量子化のない視差マップをリアルタイムに生成します。本論文の重要な洞察は、ネットワークが従来のステレオマッチング手法よりも桁違いに高いサブピクセル精度でのマッチングを達成できることです。これにより、非常に低い解像度のコストボリュームを使用することでリアルタイム性能を実現し、そのコストボリュームには高精度な視差を得るためのすべての情報がエンコードされています。空間的な精度は、学習済みのエッジ認識アップサンプリング関数を使用することで達成されます。当モデルは、左画像と右画像から特徴量を抽出するためにシアムネットワークを使用しています。視差の初期推定は非常に低い解像度のコストボリュームで計算され、その後階層的に学習済みのアップサンプリング関数を通じて高周波詳細が再導入されます。この関数はコンパクトなピクセル対ピクセル精緻化ネットワークを使用しており、色入力をガイドとして利用することで高品質なエッジ認識出力を生成することが可能です。我々は複数のベンチマークにおいて優れた結果を達成しており、提案手法が許容可能な計算量で極めて高い柔軟性を持つことを示しています。