HyperAIHyperAI

Command Palette

Search for a command to run...

マルチグリッド予測フィルタフローによるビデオの非教師あり学習

Shu Kong Charless Fowlkes

概要

私たちはマルチグリッド予測フィルタフロー(mgPFF)という、ビデオに対する教師なし学習のためのフレームワークを紹介します。mgPFFは、2つのフレームを入力とし、一方のフレームを他方に変形させるピクセルごとのフィルターを出力します。フレーム変形に使用される光学的流れと比較して、mgPFFはサブピクセル移動のモデリングや腐食(例:モーションブラー)への対処においてより強力です。私たちは、大規模な移動を捉えるために大規模なフィルターの学習を必要としないマルチグリッド粗密モデル戦略を開発しました。これにより、共有重みを使用して複数解像度で進行的に動作する極めてコンパクトなモデル(4.6MB)を訓練することが可能になりました。mgPFFは教師なしで自由形式のビデオで訓練され、長距離フローの推定によるフレーム再構築やビデオショット遷移検出だけでなく、ビデオオブジェクトセグメンテーションや姿勢追跡にも容易に適用できることを示しています。これらのタスクにおいて、mgPFFは特別な工夫なく既存の最先端手法を大幅に上回ります。さらに、mgPFFがピクセルごとのフィルター予測を行う特性により、各ピクセルがこれらのタスク解決中にどのように進化しているかを視覚化するユニークな機会を得ることができます。これにより、より良い解釈性が得られます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
マルチグリッド予測フィルタフローによるビデオの非教師あり学習 | 記事 | HyperAI超神経