2 个月前

SL-DML:信号级深度度量学习用于多模态一次性动作识别

Memmesheimer, Raphael ; Theisen, Nick ; Paulus, Dietrich
SL-DML:信号级深度度量学习用于多模态一次性动作识别
摘要

利用度量学习方法通过单一参考样本识别活动是一个前景广阔的研究领域。大多数少样本方法主要集中在物体识别或人脸识别上。我们提出了一种度量学习方法,将动作识别问题简化为嵌入空间中的最近邻搜索。我们将信号编码为图像,并使用深度残差CNN提取特征。通过三元组损失函数,我们学习了一个特征嵌入。最终的编码器将特征转换到一个嵌入空间中,在该空间中,较短的距离表示相似的动作,而较长的距离则表示不同的动作。我们的方法基于信号层面的公式化,并在多种模态下保持灵活性。此外,我们的方法在大规模NTU RGB+D 120数据集的一次性动作识别协议上比基线方法提高了5.6%的性能。即使只使用60%的训练数据,我们的方法仍能比基线方法高出3.7%的性能。当使用40%的训练数据时,我们的方法表现依然接近第二跟进方案。进一步实验表明,我们的方法在UTD-MHAD数据集(用于惯性、骨架和融合数据)以及Simitate数据集(用于运动捕捉数据)上的泛化能力良好。此外,我们的关节间和传感器间实验表明,该方法在以前未见过的设置上也具有良好的能力。