在本工作中，我们提出了一种基于RGB图像的多视角视频动作识别方法。我们构建了一个监督对比学习框架，通过有效利用多视角数据，学习对视角变化具有鲁棒性的特征表示。我们采用改进的监督对比损失函数，并引入来自同步视角的正样本进行增强。此外，我们提出一种新方法，利用分类器输出的概率来指导对比损失中难负样本的选择，从而学习更具判别性的特征表示。基于后验概率，对来自混淆类别的负样本赋予更高的权重。实验结果表明，与基于合成多视角数据的标准监督训练方法相比，我们的方法在域泛化能力方面表现更优。在真实数据集（NTU-60、NTU-120、NUMA）和合成数据集（RoCoG）上的大量实验充分验证了所提方法的有效性。