HyperAIHyperAI

Command Palette

Search for a command to run...

M-FUSE:シーンフロー推定のためのマルチフレーム融合

Lukas Mehl Azin Jahedi Jenny Schmalfuss Andrés Bruhn

概要

近年、シーンフロー推定を目的としたニューラルネットワークは、KITTIベンチマークを含む自動車用データセットにおいて優れた成果を示している。しかし、高度な剛体性仮定やパラメータ化を用いているにもかかわらず、これらのネットワークは通常、2フレームペアのみを扱うにとどまり、時間的情報を活用することができないという制限がある。本論文では、この課題を解決するために、追加の前向きステレオペアを考慮する新たなマルチフレームアプローチを提案する。この目的のため、2段階のアプローチを採用する。第一に、最近のRAFT-3Dアプローチを基盤として、高度なステレオ推定手法を統合することで、より高性能な2フレームベースラインを構築する。第二に、より重要な点として、RAFT-3Dの特異なモデリング概念を活用し、前向きと後向きのフロー推定値を統合するU-Netアーキテクチャを提案する。これにより、必要に応じて時間的情報を効果的に統合することが可能となる。KITTIベンチマーク上での実験結果は、改善されたベースラインと時間的統合アプローチの利点が互いに補完し合うことを示しており、得られたシーンフローの精度が極めて高いことも明らかになった。具体的には、全体的に2位、特に挑戦性の高い前景オブジェクトについては1位を獲得し、元のRAFT-3D手法を総合的に16%以上上回る性能を達成した。コードは https://github.com/cv-stuttgart/M-FUSE で公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています