HyperAIHyperAI

Command Palette

Search for a command to run...

STC:動画インスタンスセグメンテーションのための空間時系列対比学習

Zhengkai Jiang Zhangxuan Gu Jinlong Peng Hang Zhou Liang Liu Yabiao Wang Ying Tai Chengjie Wang Liqing Zhang

概要

動画インスタンスセグメンテーション(Video Instance Segmentation: VIS)は、動画において同時に分類、セグメンテーション、およびインスタンスの関連付けを行うタスクである。近年のVISアプローチは、この目標を達成するため、RoI関連の処理や3D畳み込みを含む複雑なパイプラインに依存している。これに対して、本研究では、インスタンスセグメンテーション手法であるCondInstをベースとし、追加のトラッキングヘッドを導入することで、単段階かつ効率的なVISフレームワークを提案する。インスタンス関連付けの精度を向上させるために、フレーム間でトラッキング埋め込みに対して新しい双方向時空間対比学習戦略を提案する。さらに、インスタンスごとの時系列一貫性を確保するためのスキームを導入し、時間的に整合性のある出力を実現する。YouTube-VIS-2019、YouTube-VIS-2021、およびOVIS-2021の各データセットにおける実験により、提案手法の有効性と効率性が検証された。本研究で提示するフレームワークが、他の多くのインスタンスレベルの動画関連付けタスクにおいて、シンプルかつ強力な代替手段として活用されることを期待している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
STC:動画インスタンスセグメンテーションのための空間時系列対比学習 | 記事 | HyperAI超神経