基于竞争性片段相似性聚合与协同注意力片段嵌入的视频行人重识别

本文提出一种基于视频的人体再识别方法，结合竞争性片段相似度聚合与协同注意力片段嵌入技术。该方法将长时序的人体视频序列划分为多个短片段，并通过聚合排名靠前的片段间相似度来估计整体序列的相似度。该策略在降低样本内部视觉差异对相似度估计影响的同时，有效保留了多样化的外观特征与时间信息。片段相似度由一种基于新型时间协同注意力机制的深度神经网络进行估计，其中注意力权重由一个查询特征决定，该特征通过LSTM网络从整个查询片段中学习得到，从而使得最终的嵌入表示对噪声帧具有更强的鲁棒性。与此同时，检索库中的片段共享与查询片段相同的查询特征，因而其嵌入能够提取出更具相关性的特征，与查询片段进行更精准的比对，进而获得更准确的片段相似度。大量消融实验验证了竞争性片段相似度聚合机制以及时间协同注意力嵌入的有效性。在多个公开数据集上，本方法显著优于当前最先进的技术。