从模态有效性视角重新审视RGBT跟踪基准：一个新的基准、问题及解决方案

RGBT跟踪因其在多模态保障（MMW）场景中的鲁棒性而受到越来越多的关注，例如夜间和恶劣天气条件下，仅依赖单一感知模态无法保证稳定的跟踪结果。然而，现有的基准数据集主要包含在常见场景中收集的视频，这些场景中RGB和热红外（TIR）信息的质量都足够高。这削弱了现有基准数据集在严重成像条件下的代表性，导致在MMW场景中出现跟踪失败。为了解决这一问题，我们提出了一种新的基准数据集——考虑模态有效性的RGBT跟踪数据集（MV-RGBT），该数据集专门从MMW场景中采集，其中要么RGB（极端光照）模态无效，要么TIR（热截断）模态无效。因此，根据有效的模态进一步将其划分为两个子集，为评估提供了新的组合视角，并为未来的设计提供了宝贵的见解。此外，MV-RGBT是同类中最多样化的基准数据集之一，涵盖了19个不同场景中的36种不同目标类别。考虑到MMW场景中的严重成像条件，在RGBT跟踪中提出了一个新的问题——“何时融合”，以促进适用于此类场景的融合策略的发展。为了便于讨论这一问题，我们提出了一种基于专家混合的新解决方案——MoETrack，在该方案中每个专家生成独立的跟踪结果以及一个置信度评分。大量的实验结果表明，MV-RGBT在推进RGBT跟踪方面具有显著潜力，并得出结论：在MMW场景中融合并不总是有益的。此外，MoETrack在多个基准数据集上取得了最先进的结果，包括MV-RGBT、GTOT和LasHeR。GitHub链接：https://github.com/Zhangyong-Tang/MVRGBT