HyperAIHyperAI

Command Palette

Search for a command to run...

グローバル運動集約を用いた隠れた運動の推定の学習

Shihao Jiang Dylan Campbell Yao Lu Hongdong Li Richard Hartley

概要

オクルージョンは、局所的な証拠に依存する光学フロー推定アルゴリズムにとって大きな課題である。本研究では、オクルージョンとされる点を、第1フレームでは像として観測されるが、次のフレームでは観測されない点と定義する。これは標準的な定義をやや拡張したものであり、フレーム外へ移動する点も含む。このような点の運動を推定することは、特に2フレーム間での設定において極めて困難である。これまでの研究では、CNNを用いてオクルージョンを学習しようとする試みがなされたが、それほど成功とは言えない。あるいは、時間的滑らかさを用いて複数フレームを用いてオクルージョンを推論する必要がある。本論文では、2フレーム設定において、画像の自己類似性をモデル化することで、オクルージョン問題をより効果的に解決できることを主張する。我々は、第1フレーム内の画素間の長距離依存関係を捉えるためのTransformerベースのグローバル運動集約モジュールを導入し、対応する運動特徴に対してグローバルな集約処理を行う。実験により、非オクルージョン領域の性能を損なうことなく、オクルージョン領域における光学フロー推定の精度を顕著に向上できることを示した。このアプローチは、難易度の高いSintelデータセットにおいて、新規の最先端性能を達成し、Sintel Finalでは平均エンドポイント誤差を13.6%、Sintel Cleanでは13.7%改善した。本論文提出時点において、本手法は発表済みおよび未発表のすべてのアプローチの中で、これらのベンチマークでトップランクを獲得している。コードは以下のURLで公開されている:https://github.com/zacjiang/GMA


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています