17日前

マーズの2D HiRISE画像から高解像度単眼深度推定を目的とした敵対的生成ネットワーク

{Mattia Gatti, Emanuele Simioni, Claudio Pernechele, Nicola Landro, Gabriele Cremonese, Cristina Re, Ignazio Gallo, Riccardo La Grassa}
要約

コンピュータビジョンにおいて、ステレオスコピック技術は、二つのわずかに異なる視点から取得された2次元画像を用いて、シーンの三次元再構成を可能にし、視差マップという形でシーンの奥行きに関する空間情報を抽出する。ステレオフォトグラメトリでは、この視差マップがデジタル地形モデル(DTM)の抽出に不可欠であり、これにより三次元空間マッピングが実現され、惑星表面のより精密な解析が可能となる。しかし、ステレオマッチングアルゴリズムを用いた全般的な再構成プロセスは時間的に長く、多数のアーティファクトを引き起こす可能性がある。さらに、十分なステレオカバレッジが得られない場合、三次元惑星マッピングにおいて大きな障壁となることがある。近年、単一の2次元画像から三次元情報を予測することを目指すモノクロナル深度推定のための深層学習アーキテクチャが多数提案されており、再構成問題の単純化に伴い大きな利点が得られ、高解像度画像生成およびDTM推定における深層モデルへの関心が顕著に高まっている。本論文では、こうした最新の二つの概念を統合したエンドツーエンド型の単一モデルを提案し、単一のモノクロナル画像から4倍解像度のDTMを推定する新しい生成的 adversarial network(GAN)アプローチ、すなわちSRDiNet(Super-Resolution Depth Image Network)を導入する。さらに、入力画像を補間処理したものを用いて細部の精緻化を実現するサブネットワークを導入し、その効果を検証するために三つの異なるバージョンの提案手法を比較検証した。すなわち、GANアプローチを備えたSRDiNet、GANを搭載しないSRDiNet、および精緻化ネットワークを学習させずGANアプローチのみを用いたSRDiNetである。実験結果として、欧州宇宙機関(ESA)のロザリンド・フランクリンExoMarsローバー2023の着陸地点であるオキア・プランム(Oxia Planum)について、全タイルにわたって最適なモデルを適用し、4倍拡大された3D製品を公開した。

マーズの2D HiRISE画像から高解像度単眼深度推定を目的とした敵対的生成ネットワーク | 最新論文 | HyperAI超神経