HyperAIHyperAI

Command Palette

Search for a command to run...

基于跨模态蒸馏的高效RGB-T跟踪

Jungong Han Qiang Zhang Qiang Jiao Hongyuan Guo Tianlu Zhang

摘要

当前大多数RGB-T跟踪器采用双流结构来提取单模态的RGB与热成像特征,并结合复杂的融合策略实现多模态特征融合,这类方法通常需要大量参数,严重制约了其在实际场景中的应用。另一方面,虽然轻量级RGB-T跟踪器具有较高的计算效率,但由于特征表达能力的削弱,往往面临显著的性能下降问题。为解决这一矛盾,本文提出一种跨模态知识蒸馏框架,旨在缩小轻量级跟踪器与高性能跟踪器之间的性能差距。具体而言,提出一种特异性-共性特征蒸馏模块,将深层双流网络中提取的模态共性信息与模态特异性信息,有效迁移至浅层单流网络中。此外,设计了一种多路径选择蒸馏模块,通过多条路径引导简单的融合模块,从精心设计的融合机制中学习更精确的多模态信息。在三个主流RGB-T基准数据集上的大量实验验证了所提方法的有效性,结果表明该方法在达到当前最优性能的同时,显著降低了计算资源消耗。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供