16日前

BiFuse: ビプロジェクション融合を用いた単眼360度深度推定

{ Yi-Hsuan Tsai, Wei-Chen Chiu, Min Sun, Yu-Hsuan Yeh, Fu-En Wang}
BiFuse: ビプロジェクション融合を用いた単眼360度深度推定
要約

単眼360度画像からの深度推定は、消費者向け360度カメラの普及と周囲全体を感知できる能力の実現により、注目を集めつつある新興課題である。360度画像技術の標準が急速に進化する中、本研究では人間の目における周辺視と中心視の両方の特性を模倣することで、単眼360度画像の深度マップを予測する手法を提案する。この目的のため、等距離円筒投影(equirectangular projection)と立方体マップ投影(cubemap projection)という2つの一般的な投影方式を活用した二本のブランチを持つニューラルネットワークを採用している。具体的には、等距離円筒投影は完全な視野(FOV)を含む一方で歪みを生じるのに対し、立方体マップ投影は歪みを回避するが、立方体の各面の境界部に不連続性が生じるという課題を持つ。このため、両投影からの特徴マップをバランスよく統合するため、学習可能なマスクを用いたバイプロジェクション融合スキームを提案する。さらに、立方体マップ投影に対して、各面の境界における不連続性を軽減するための球面パディング(spherical padding)手順を導入している。本手法は4つのパノラマデータセットに適用し、既存の最先端手法と比較して優れた性能を示した。

BiFuse: ビプロジェクション融合を用いた単眼360度深度推定 | 最新論文 | HyperAI超神経