7 天前

基于多视角知识蒸馏的鲁棒重识别

Angelo Porrello, Luca Bergamini, Simone Calderara
基于多视角知识蒸馏的鲁棒重识别
摘要

为实现行人重识别(Re-Identification)的鲁棒性,传统方法通常采用视频到视频(Video-to-Video)的范式,利用视频中的跟踪信息。然而,这类方法在单张图像查询场景(如图像到视频,Image-to-Video)下性能显著下降。近期研究通过将基于视频的网络所蕴含的时间信息迁移至基于图像的网络,缓解了这一性能衰减问题。在本文中,我们提出一种新型训练策略,能够将源自多个视角下目标物体的丰富视觉信息所形成的优越知识进行有效迁移。我们提出的方案——视角知识蒸馏(Views Knowledge Distillation, VKD),在教师-学生框架中,将这种视觉多样性作为监督信号,其中教师模型基于多视角输入进行训练,而学生模型仅观察较少视角。结果表明,该学生模型不仅超越了其教师模型,更在图像到视频重识别任务中大幅领先当前最优方法:在MARS数据集上提升6.3%的mAP,在Duke-Video-ReID上提升8.6%,在VeRi-776上提升5%。本文对行人、车辆及动物重识别任务进行了全面分析,从定性和定量两个维度深入探究了VKD的特性与优势。代码已开源,地址为:https://github.com/aimagelab/VKD。

基于多视角知识蒸馏的鲁棒重识别 | 最新论文 | HyperAI超神经