2 个月前

YOLO-World:实时开放词汇对象检测

Tianheng Cheng; Lin Song; Yixiao Ge; Wenyu Liu; Xinggang Wang; Ying Shan
YOLO-World:实时开放词汇对象检测
摘要

“仅看一次”(YOLO)系列检测器已确立了其高效且实用的工具地位。然而,它们对预定义和训练对象类别的依赖限制了在开放场景中的应用。为了解决这一局限性,我们引入了YOLO-World,这是一种创新方法,通过视觉-语言建模和大规模数据集上的预训练,增强了YOLO的开放词汇检测能力。具体而言,我们提出了一种新的可重新参数化的视觉-语言路径聚合网络(RepVL-PAN)和区域-文本对比损失,以促进视觉信息和语言信息之间的交互。我们的方法在零样本情况下能够高效地检测广泛种类的对象,并表现出色。在具有挑战性的LVIS数据集上,YOLO-World在V100上实现了35.4的平均精度(AP)和52.0帧每秒(FPS),在准确性和速度方面均优于许多现有最先进方法。此外,经过微调的YOLO-World在多个下游任务中也取得了显著性能,包括对象检测和开放词汇实例分割。