HyperAIHyperAI

Command Palette

Search for a command to run...

MaskCLR:ロバストな行動表現学習のための注意機構誘導型対照学習

Alexandre Alahi Mariam Hassan Mohamed Abdelfattah

概要

現在、電流変換器ベースの骨格行動認識モデルは、行動クラスを予測する際に限定的な関節群および低レベルの運動パターンに注目しがちである。このため、骨格の微小な摂動や、学習時とテスト時のポーズ推定器の変更に対して、性能が著しく低下する傾向がある。本研究では、ロバストな骨格行動認識を実現するための新しいマスク付き対比学習手法であるMaskCLRを提案する。我々は、最も重要な関節をマスクすることで、モデルがより広範な識別的関節を探索するよう促す、注意機構を活用した確率的マスク戦略を提案する。さらに、標準的な骨格とマスクされた骨格の表現がクラス判別可能(各クラス内ではより凝縮され、異なるクラス間ではより分散する)になるように制約する、マルチレベル対比学習フレームワークを設計した。本手法により、モデルは低レベルの関節変動に依存するのではなく、高レベルの行動意味を捉える能力が向上し、Transformerベースのモデルに容易に統合可能である。一般性を損なわず、MaskCLRを3種類のTransformerバックボーン(単純なTransformer、DSTFormer、STTFormer)と組み合わせて評価した。NTU60、NTU120、Kinetics400における広範な実験結果から、異なるポーズ推定器から得られる標準的および摂動付き骨格において、従来の最先端手法を一貫して上回ることが確認され、精度の一般化性能およびロバスト性が向上することが示された。プロジェクトウェブサイト:https://maskclr.github.io


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
MaskCLR:ロバストな行動表現学習のための注意機構誘導型対照学習 | 記事 | HyperAI超神経