MMVP 多模态运动捕捉数据集

MMVP (Multimodal MoCap Dataset with Vision and Pressure Sensors) 是由北京航空航天大学、清华大学和南京大学联合研发的结合视觉和压力传感器的多模态运动捕捉数据集。

该数据集包含了诸多大范围且迅速的人体运动，像是跑步、跳绳、立定跳远之类，总计采集了 16 位受试者的逾 44k 帧同步 RGBD 帧以及压力数据。研究者借助 Azure Kinect 相机以每秒钟 30 帧的频率记录 RGBD 视频，同时运用 Xsensor 压力鞋垫以高达每秒钟 150 帧的速率捕获足底压力数据，经由手动对两种数据流进行同步，再结合像 FPP-Net 与 CLIFF 这样的深度学习算法，实现对数据的细致处理与分析。该数据集为基于视觉和压力传感器的人类运动捕捉研究给予了全新的数据资源，能够助推该领域的进展。

描述: MMVP（多模态视觉模式）基准侧重于识别「CLIP-盲对」——尽管具有明显的视觉差异，但 CLIP 认为相似的图像。 MMVP 对包括 GPT-4V 在内的最先进系统的性能进行了九种基本视觉模式的基准测试。它强调了这些系统在回答简单问题时面临的挑战，通常会导致错误的响应和幻觉的解释。

• 内容类型: Images (CLIP-blind pairs)
• 数量: 300 张图片
• 数据来源: 源自 ImageNet-1k 和 LAION-Aesthetics
• 数据收集方法: 通过比较分析识别 CLIP 盲对