11 天前
零样本动作识别中的纠错输出码
{Fumin Shen, Ling Shao, Bingbing Ni, Jie Qin, Yunhong Wang, Li Liu, Jiaxin Chen}

摘要
近年来,随着动作类别数量的爆炸式增长,零样本动作识别(Zero-Shot Action Recognition, ZSAR)逐渐成为研究热点。本文从一个全新的视角出发,提出了一种基于纠错输出编码(Error-Correcting Output Codes,简称ZSECOC)的ZSAR方法。所提出的ZSECOC在传统ECOC框架的基础上,进一步赋予其处理零样本动作识别的能力,有效缓解了领域偏移(domain shift)问题。具体而言,我们通过融合类别级语义信息与数据内在结构,学习具有判别性的ZSECOC表示,用于已见类别。该过程通过将已见类别之间已建立的强关联关系迁移至未见类别,从而隐式地应对领域偏移问题。此外,本文还设计了一种简洁的语义迁移策略,显式地将已见类别的学习嵌入向量调整,使其更贴合未见类别的潜在结构。因此,ZSECOC不仅继承了ECOC方法在分类性能方面的优异特性,同时有效克服了领域偏移问题,显著提升了在零样本场景下的判别能力。我们在三个真实世界动作识别基准数据集——Olympic Sports、HMDB51和UCF101上对ZSECOC进行了系统性评估。实验结果充分表明,与当前最先进的方法相比,ZSECOC在各项指标上均展现出显著优势。