HyperAIHyperAI

Command Palette

Search for a command to run...

ゼロショット骨格ベース行動認識における相互情報の推定と最大化

概要

ゼロショット骨格ベースの動作認識は、既知のカテゴリのデータで学習した後、未知のカテゴリの動作を認識することを目指しています。その鍵は、既知のクラスから未知のクラスへ視覚空間と意味空間の間の接続を構築することにあります。これまでの研究では主に、シーケンスを単一の特徴ベクトルにエンコードし、その後埋め込み空間内の同一アンカーポイントに特徴をマッピングすることに焦点を当ててきました。これらの手法の性能は、1) 全体的な視覚/意味分布の一貫性が無視されることにより、2つの空間間の真実の相互依存関係を捉える能力が制限されるという問題と 2) 時間情報が無視されること(フレームごとの豊富な動作ヒントを持つ特徴が直接単一の特徴ベクトルにプーリングされるため)によって阻害されています。本研究では、相互情報量(Mutual Information, MI)推定と最大化を通じた新しいゼロショット骨格ベースの動作認識手法を提案します。具体的には、1) 視覚空間と意味空間間での分布の一貫性のためにMIを最大化し、2) より多くのフレームが観測されるにつれてMIが増加するように促すことで時間情報を活用してMIを推定します。3つの大規模骨格動作データセットにおける広範な実験結果により、当手法の有効性が確認されました。コード: https://github.com/YujieOuO/SMIE.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ゼロショット骨格ベース行動認識における相互情報の推定と最大化 | 記事 | HyperAI超神経