9日前

DVI:自律走行を 위한深度誘導型動画補間

Miao Liao, Feixiang Lu, Dingfu Zhou, Sibo Zhang, Wei Li, Ruigang Yang
DVI:自律走行を 위한深度誘導型動画補間
要約

自動運転における明確なストリートビューおよび写実的なシミュレーションを実現するため、深度情報や点群データをガイドとして用いて動画内の交通参加者を除去し、欠損領域を再構成する自動動画補間アルゴリズムを提案する。ステッチされた点群から高密度な3D地図を構築することで、動画内の各フレームはこの共通の3D地図を介して幾何学的に関連付けられる。あるフレームにおける補間対象領域を埋める際には、他のフレームのピクセルを正しい遮蔽関係を考慮して現在のフレームに変換するという手法が直感的かつ効果的である。さらに、3D点群の登録を用いて複数の動画を統合可能であり、複数のソース動画を用いてターゲット動画の補間を実現することが可能となる。このアプローチの動機は、動画全体を通して一度も可視化されたことがない長時間の遮蔽領域を解決することにある。本研究においては、複数の動画を動画補間に統合するという点で、世界で初めての試みである。本手法の有効性を検証するため、実際の都市道路環境において、同期された画像とLiDARデータを含む大規模な補間データセットを構築した。このデータセットには、長時間の遮蔽など、多くの課題となるシーンが含まれている。実験結果から、提案手法はすべての評価基準において最先端手法を上回ることが確認され、特にRMSE(平均二乗誤差)は約13%低減された。