16日前

RigNet:深度補完のための反復画像ガイドネットワーク

Zhiqiang Yan, Kun Wang, Xiang Li, Zhenyu Zhang, Jun Li, Jian Yang
RigNet:深度補完のための反復画像ガイドネットワーク
要約

深度補完は、疎な深度マップから密な深度マップを復元する問題に取り組む技術であり、色画像を活用してこのタスクを支援することが一般的である。近年の手法は主に、画像をガイドとして用いる学習フレームワークに注目しており、密な深度を予測することを目指している。しかし、画像内のぼやけたガイド情報や深度マップにおける不明瞭な構造が、画像ガイド型フレームワークの性能を阻害している。こうした課題に対処するため、本研究では、深度値を段階的かつ十分に復元できるよう、画像ガイドネットワークに繰り返し構造(repetitive design)を導入する。具体的には、画像ガイドブランチおよび深度生成ブランチの両方に繰り返し構造を実装している。前者のブランチでは、複雑な環境における判別性の高い画像特徴を抽出できる、繰り返し構造を有する時計型ネットワーク(repetitive hourglass network)を設計し、深度予測に強力な文脈情報を提供する。後者のブランチでは、動的畳み込み(dynamic convolution)に基づく繰り返しガイドモジュールを導入し、効率的な畳み込み分解手法を提案することで、計算量を低減しつつ、高周波構造を段階的にモデル化することを可能にした。広範な実験の結果、本手法はKITTIベンチマークおよびNYUv2データセットにおいて、優れたまたは競争力のある性能を達成した。

RigNet:深度補完のための反復画像ガイドネットワーク | 最新論文 | HyperAI超神経