本研究では、マルチビュー動画を用いたRGBベースの行動認識のための手法を提示する。視点の変化に対して堅牢な特徴埋め込みを学習するため、効果的にマルチビュー情報を活用する教師付き対照学習フレームワークを提案する。改良された教師付き対照損失を用い、同期された視点から得られるポジティブサンプルを拡張することで、より強力な特徴表現を獲得する。また、対照損失におけるハードネガティブサンプルの選択を、分類器の出力確率を用いてガイドする新しいアプローチを提案し、より判別力の高い表現学習を実現する。後方確率に基づいて混乱しやすいクラスからのネガティブサンプルは、より高い重みを付与される。さらに、合成マルチビューデータに基づく標準的な教師付き学習と比較して、本手法が優れたドメイン一般化性能を示すことを示す。実データ（NTU-60、NTU-120、NUMA）および合成データ（RoCoG）を用いた広範な実験により、本手法の有効性が検証された。