HyperAIHyperAI

Command Palette

Search for a command to run...

行動クラスの無監督学習と連続的な時間埋め込み

Anna Kukleva Hilde Kuehne Fadime Sener Juergen Gall

概要

最近、トリミングされていない動画における行動の時間的な検出とセグメンテーションのタスクが注目を集めています。この文脈において、訓練用アノテーションを作成するために行動境界を定義しラベリングする必要があることが問題となっています。これは非常に時間とコストがかかります。この課題に対処するため、私たちはトリミングされていない動画シーケンスから行動クラスを学習する教師なしアプローチを提案します。そのためには、フレーム単位の特徴量の連続的な時間埋め込みを使用して、活動の逐次的な性質を利用します。埋め込みによって生成された潜在空間に基づいて、全動画にわたる意味的に有意な行動クラスに対応する時間セグメントのクラスタを識別します。本アプローチは、ブレックファストデータセット、YouTube Instructions(ユーチューブ・インストラクションズ)、および50Saladsデータセットという3つの難易度の高いデータセットで評価されました。これまでの研究では動画が同じ高レベルの活動を含むと仮定していましたが、私たちはさらに提案手法が動画の内容が未知であるより一般的な設定にも適用可能であることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています