要約
インスタンスレベルの判別能力に着目し、MoCoやSimCLRを代表とする対照学習手法は、元々の画像表現学習タスクから出発して、自己教師付き骨格ベースの行動認識タスクへと適応されてきた。これらの手法は通常、複数のデータストリーム（すなわち関節、運動、骨）を用いたアンサンブル学習を採用しているが、単一ストリーム内での判別性の高い特徴空間の構築方法や、複数ストリーム間の情報を効果的に統合する手法については、未解決の課題として残っている。本研究では、まず骨格データから学習可能な新たな対照学習手法であるBYOLを適用し、自己教師付き骨格ベース行動認識のためのシンプルでありながら有効なベースラインとしてSkeletonBYOLを提案する。SkeletonBYOLの着想をもとに、本研究はさらに「クロスモデル・クロスストリーム（CMCS）」フレームワークを提唱する。このフレームワークは、クロスモデル adversarial 学習（CMAL）とクロスストリーム協調学習（CSCL）を統合している。具体的には、CMALはクロスモデル adversarial ロスを用いて単一ストリームの表現を学習することで、より判別性の高い特徴を獲得する。一方、複数ストリーム間の情報を統合・相互作用させるために、CSCLはアンサンブル学習における類似度の擬似ラベルを生成し、これを教師信号として各ストリームの特徴生成をガイドする。3つのデータセットにおける広範な実験により、CMALとCSCLの相補的な性質が確認され、また、さまざまな評価プロトコルにおいて、提案手法が最先端の手法を上回る性能を達成できることも実証された。