11 天前
Open-TransMind:面向智能交通首个基础模型挑战的新基准与基准测试
Yifeng Shi, Feng Lv, Xinliang Wang, Chunlong Xia, Shaojie Li, Shujie Yang, Teng Xi, Gang Zhang

摘要
近年来,随着计算能力的持续提升以及深度学习算法的不断进步,基础模型(foundation model)技术日益受到关注。凭借其强大的能力与优异的表现,该技术正被越来越多的行业采纳和应用。在智能交通领域,人工智能面临典型挑战,包括少样本学习(few-shot learning)、泛化能力不足以及多模态技术缺乏等问题。基础模型技术能够显著缓解上述难题。为此,我们发起了首届“基础模型挑战赛”(1st Foundation Model Challenge),旨在提升基础模型技术在交通场景中的应用普及度,推动智能交通产业的快速发展。本次挑战赛分为两个赛道:全模态一体化(all-in-one)与跨模态图像检索(cross-modal image retrieval)。同时,我们为两个赛道提供了全新的基准模型与基线系统,命名为 Open-TransMind。据我们所知,Open-TransMind 是首个开源的、具备多任务与多模态能力的交通领域基础模型。该模型在交通场景下的目标检测、分类与语义分割等多个数据集上均达到了当前最先进的性能水平。项目开源代码已发布于:https://github.com/Traffic-X/Open-TransMind。