コンテンツ適応型マルチリゾリューションマージを用いた単眼深度推定モデルの高解像度化

ニューラルネットワークは単一画像から深度を推定する能力において顕著な成果を上げている。しかし、推定される深度マップの解像度は1メガピクセル未満にとどまり、細かいディテールが不足しがちであるため、実用性に制限がある。本研究では、入力解像度とシーン構造が深度推定性能に与える影響についての分析に基づき、手法を構築した。我々は、一貫性のあるシーン構造と高周波成分のディテールの間にトレードオフが存在することを示し、低解像度と高解像度の推定結果を統合するシンプルな深度統合ネットワークを用いて、この二重性を活用した。本研究では、全体画像の深度推定を向上させるための二重推定法と、最終結果に局所的なディテールを追加するためのピッチ選択法を提案する。異なる解像度での推定結果を、文脈を変化させながら統合することで、事前学習済みモデルを用いて、高精細なマルチメガピクセル深度マップを生成できることを実証した。