摘要
随着深度神经网络与数据集能力的持续提升，人体动作识别（Human Action Recognition, HAR）领域在数据集和深度模型方面均取得了快速发展。然而，目前仍缺乏专门面向机器人领域及人机交互场景的高质量数据集。为此，本文构建并引入了一个新的多视角数据集——机器人之家多视角（Robot House Multi-View, RHM）数据集，以填补这一空白。RHM数据集包含四个视角：正面（Front）、背面（Back）、天花板全景（Ceiling, Omni）以及机器人视角（robot-view）。数据集共包含14类动作，每个视角下有6701段视频片段，总计26804段视频。各视频片段的时长介于1至5秒之间，且相同编号、相同类别的视频在不同视角间实现了精确同步。在本文的第二部分，我们研究了基于现有最先进模型的单流（single-stream）方法在动作识别中的表现，并通过信息论建模与互信息（mutual information）理论，评估了各视角所提供的信息增益。此外，我们对不同视角的识别性能进行了基准测试，系统分析了各视角在信息含量与识别性能方面的优劣。实验结果表明，多视角与多流融合的策略在提升动作识别准确率方面具有显著潜力。RHM数据集现已公开，可访问：Robot House。