HyperAIHyperAI

Command Palette

Search for a command to run...

Mixed Temporal Domain Adaptationを用いたAction Segmentation

Min-Hung Chen Baopu Li Yingze Bao Ghassan AlRegib

概要

アクションセグメンテーションの主な進展は、完全に教師あり学習に向けた高密度にアノテーションされたデータに起因している。フレーム単位のアクションに対する手動アノテーションは時間と労力がかかるため、入手がはるかに容易な補助的なラベルなし動画を活用する手法を提案する。本研究では、この問題をドメイン適応(Domain Adaptation: DA)として定式化する。近年、さまざまなDA技術が提案されてきたが、その多くは空間方向(spatial direction)に限定されており、時間方向(temporal direction)への適用は十分に行われていない。そこで、ドメイン間でフレームレベルおよびビデオレベルの埋め込み特徴空間を同時に整合する「混合時間ドメイン適応(Mixed Temporal Domain Adaptation: MTDA)」を提案する。さらに、ドメインアテンション機構を統合することで、ドメイン間の差が大きいフレームレベル特徴に注目し、より効果的なドメイン適応を実現する。最後に、GTEA、50Salads、Breakfastの3つの難易度の高いデータセット上で本手法を評価した結果、いずれのデータセットにおいても最新の最先端手法を大きく上回ることを確認した(例:GTEAにおいてF1@50で6.4%、エディットスコアで6.8%の向上)。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています