HyperAIHyperAI

Command Palette

Search for a command to run...

SSTVOS: 稀疏時空トランスフォーマーによる動画オブジェクトセグメンテーション

Brendan Duke extsuperscript1,4,* Abdalla Ahmed extsuperscript4 Christian Wolf extsuperscript3 Parham Aarabi extsuperscript1,4 Graham W. Taylor extsuperscript2,5

概要

本論文では、ビデオオブジェクトセグメンテーション(VOS)に向けたTransformerベースの手法を紹介します。従来の研究における累積誤差とスケーラビリティの問題に対処するため、スケーラブルでエンドツーエンドのVOS手法であるSparse Spatiotemporal Transformers (SST) を提案します。SSTは、時空間特徴に対する疎な注意を使用して、ビデオ内の各オブジェクトに対してピクセルごとの表現を抽出します。我々が提案するVOSの注意に基づく定式化は、モデルが複数フレームの履歴に注意を向けることを学習させることができ、運動セグメンテーションを解くために必要な対応関係のような計算を行うための適切な帰納的バイアスを提供します。我々は、時空間領域において再帰ネットワークよりも注意に基づく手法の方が効果的であることを示しています。本手法はYouTube-VOSおよびDAVIS 2017において競争力のある結果を達成しており、最新技術と比較してスケーラビリティと被遮断へのロバスト性が向上しています。コードはhttps://github.com/dukebw/SSTVOS で利用可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
SSTVOS: 稀疏時空トランスフォーマーによる動画オブジェクトセグメンテーション | 記事 | HyperAI超神経