基于深度图模型的多视角小鼠社交行为识别

小鼠在自身笼舍中的社交行为分析是评估神经退行性疾病治疗效果的重要工具。尽管研究界已投入巨大努力，目前此类分析仍主要依赖单摄像头视频记录。由于多视角视频能够更丰富地描述小鼠的社交行为，其在啮齿类动物行为观测中的应用正日益受到关注。然而，由于不同视角数据之间缺乏有效的对应关系，从多视角中识别社交行为仍面临挑战。为解决这一问题，本文提出一种新型的多视角隐变量注意力与动态判别模型，该模型能够联合学习各视角特有的子结构与共享子结构：前者捕捉每个视角的独特动态特征，后者则编码各视角之间的交互关系。此外，我们还引入了一种新型的多视角隐变量注意力变分自编码器模型，用于学习提取到的特征，从而在每个视角中有效获取具有判别性的特征表示。在标准CRMI13数据集以及我们构建的多视角帕金森病小鼠行为（PDMB）数据集上的实验结果表明，所提模型显著优于现有最先进方法，并能有效应对数据不平衡问题。