17日前
HITNet:リアルタイムステレオマッチングのための階層的反復タイル精細化ネットワーク
Vladimir Tankovich, Christian Häne, Yinda Zhang, Adarsh Kowdle, Sean Fanello, Sofien Bouaziz

要約
本稿では、リアルタイムステレオマッチングを実現するための新規ニューラルネットワークアーキテクチャであるHITNetを提案する。近年の多くのニューラルネットワーク手法がフルコストボリュームを扱い、3次元畳み込みに依存しているのに対し、本手法は明示的にボリュームを構築しない。代わりに、高速なマルチスケール初期化ステップと、微分可能な2次元幾何学的伝搬およびワーピング機構を用いて、不一致仮説を推定する。高い精度を達成するため、本ネットワークは不一致について幾何学的に推論するだけでなく、傾斜面仮説を推論することで、より正確な幾何学的ワーピングおよびアップサンプリング操作を実現する。本アーキテクチャは inherently マルチスケールであり、異なるスケール間での情報伝搬が可能である。多数の実験により、最先端手法に比べて極めて少ない計算量で本手法の有効性が証明された。執筆時点において、HITNetはETH3Dウェブサイトに掲載された2視点ステレオに関するすべての指標で1位~3位を獲得しており、Middlebury-v3におけるすべてのエンドツーエンド学習手法の中で多数の指標で1位を獲得している。また、公開された手法の中で100ms未満の処理時間を達成するものの中で、KITT 2012および2015ベンチマークにおいても1位を獲得している。