16日前

BiFuse++:自己教師ありかつ効率的な二重投影融合を用いた360度深度推定

Fu-En Wang, Yu-Hsuan Yeh, Yi-Hsuan Tsai, Wei-Chen Chiu, Min Sun
BiFuse++:自己教師ありかつ効率的な二重投影融合を用いた360度深度推定
要約

球面カメラの普及に伴い、単眼360度深度推定は自律システムなど多くの応用において重要な技術となっている。そのため、BiFuseにおける二重投影融合(bi-projection fusion)を用いた最先端のフレームワークが提案されている。このようなフレームワークを学習させるには、レーザーセンサによって取得された高精度の深度ラベルを伴う大量のパノラマ画像が必要となるが、これによりデータ収集コストが著しく増加する。さらに、このようなデータ収集プロセスは時間的にも膨大な労力を要するため、異なるシーンへの拡張性(スケーラビリティ)が大きな課題となっている。こうした問題に対処するため、360度動画から単眼深度推定用のネットワークを自己学習(self-training)させるアプローチが有効であると考えられる。しかし、現存するフレームワークの多くは、自己学習スキームに二重投影融合を統合しておらず、その結果、異なる投影タイプから得られる情報を活用できる二重投影融合の恩恵を十分に享受できていないため、自己教師付き学習の性能に大きな制約が生じている。本論文では、二重投影融合と自己学習の組み合わせを検討するため、BiFuse++を提案する。具体的には、新たな融合モジュールおよび対照意識型光度損失(Contrast-Aware Photometric Loss)を設計し、BiFuseの性能を向上させるとともに、実世界の動画に対する自己学習の安定性を高める。提案手法は、ベンチマークデータセット上で教師ありおよび自己教師ありの両方の実験を実施し、既存手法を上回る最先端の性能を達成した。

BiFuse++:自己教師ありかつ効率的な二重投影融合を用いた360度深度推定 | 最新論文 | HyperAI超神経