InterPet4D数据集实现AI犬类互动动作生成

近日，东京科学大学彭一辰助理教授与Hideki Koike教授团队联合卡内基梅隆大学等机构，发布了面向人犬交互的多模态四维数据集InterPet4D及人工智能运动生成框架InterPetMoGen（IPMG）。该成果已上传arXiv预印本平台，并将于2026年欧洲计算机视觉大会正式展出。 针对人宠交互研究数据匮乏的痛点，研究团队通过十二台同步第三人称摄像机与第一人称视角设备，采集161场涉及23名人类与13只犬类（涵盖11个品种）的交互影像，构建了包含多视角视频、音频、三维动作及文本标注的683万帧同步数据。数据按抚摸、指令、呼唤及自由活动四类场景组织，完整保留了交互的时序与语境信息。 基于该数据集，团队开发IPMG框架。该模型将复杂动作压缩为紧凑的运动标记，利用自回归Transformer与PetVAE模块，结合模态感知注意力机制，实时解析人类肢体、手势及语音线索，动态生成符合物理逻辑的犬类响应动作。评估显示，IPMG在动能FID指标上较基线模型降低47.2%，动作对齐度与多样性显著提升。十二名受访者在盲测中对其自然度与响应准确性给予高度评价。 研究人员指出，该框架有效突破了多模态交互建模的局限，为动物行为分析、动画制作、虚拟数字人及社交机器人研发提供了标准化数据底座。未来工作将进一步拓展至长时序生成、接触力学建模及其他物种交互场景。