HyperAIHyperAI

Command Palette

Search for a command to run...

CounTR:基于Transformer的通用视觉计数

Liu Chang ; Zhong Yujie ; Zisserman Andrew ; Xie Weidi

摘要

在本文中,我们研究了广义视觉目标计数问题,旨在开发一种计算模型,用于从任意语义类别中计数对象的数量,使用任意数量的“示例”(即零样本或少样本计数)。为此,我们做出了以下四项贡献:(1) 我们引入了一种基于 Transformer 的新架构,称为计数 Transformer (Counting Transformer, CounTR),该架构通过注意力机制显式捕捉图像块之间的相似性或与给定“示例”的相似性;(2) 我们采用了两阶段训练策略,首先通过自监督学习对模型进行预训练,然后进行有监督的微调;(3) 我们提出了一种简单且可扩展的管道,用于合成包含大量实例或来自不同语义类别的训练图像,明确迫使模型利用给定的“示例”;(4) 我们在大规模计数基准数据集(如FSC-147)上进行了详尽的消融研究,并展示了在零样本和少样本设置下均达到最先进水平的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供