HyperAIHyperAI

Command Palette

Search for a command to run...

時系列対応のためのジョイントタスク自己教師学習

Xueting Li Sifei Liu Shalini De Mello Xiaolong Wang Jan Kautz Ming-Hsuan Yang

概要

本稿では、自己教師ありのアプローチにより動画から信頼性の高い密な対応関係を学習することを提案する。我々の学習プロセスは、大規模な画像領域の追跡と、連続する動画フレーム間における細粒度なピクセルレベルの関連付けという、互いに密接に関連する2つのタスクを統合している。これらのタスク間の相乗効果を、フレーム間の類似性行列(inter-frame affinity matrix)を共有することで実現し、領域レベルおよびピクセルレベルの両方でフレーム間の遷移を同時にモデル化している。領域レベルの局所化は、探索領域を狭めることで細粒度なマッチングにおける曖昧さを低減するのに対し、細粒度なマッチングは領域レベルの局所化を促進するための下位から上位への特徴を提供する。本手法は、動画オブジェクトおよびパーツセグメンテーションの伝搬、キーポイント追跡、オブジェクト追跡など、多様な視覚的対応タスクにおいて、最先端の自己教師あり手法を上回る性能を達成した。さらに、ImageNetで事前学習されたResNet-18から得られる完全教師ありの類似性特徴表現をも凌駕する結果を示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています