MDETR -- 调制检测用于端到端多模态理解

多模态推理系统依赖于预训练的对象检测器从图像中提取感兴趣区域。然而，这一关键模块通常作为黑箱使用，独立于下游任务进行训练，并且基于固定的对象和属性词汇表。这使得此类系统难以捕捉自由文本中表达的长尾视觉概念。在本文中，我们提出了MDETR，一种端到端的调制检测器，能够在给定原始文本查询（如标题或问题）的条件下检测图像中的对象。我们采用了基于变压器的架构，在模型的早期阶段融合文本和图像，从而联合推理两者。我们在130万对文本-图像对上预训练了该网络，这些数据是从现有的多模态数据集中挖掘出来的，其中文本中的短语与图像中的对象具有明确的对应关系。然后，我们在多个下游任务上进行了微调，包括短语定位、指代表达理解以及分割任务，在流行的基准测试中取得了最先进的结果。此外，我们还研究了在少量样本设置下微调时，我们的模型作为特定标签集的对象检测器的实用性。我们展示了我们的预训练方法提供了一种处理具有极少标注实例的对象类别的长尾问题的方法。我们的方法可以轻松扩展到视觉问答任务，在GQA和CLEVR等数据集上取得了有竞争力的表现。代码和模型可在https://github.com/ashkamath/mdetr获取。