面向场景的协作变压器模型

情境识别是指预测给定图像中的主要活动、参与该活动的实体及其在图像中的边界框定位。为了有效应对这一具有挑战性的任务，我们提出了一种新颖的方法，其中活动分类和实体估计两个过程是交互式且互补的。为实现这一理念，我们提出了协作一瞥-凝视变换器（Collaborative Glance-Gaze TransFormer, CoFormer），它由两个模块组成：用于活动分类的一瞥变换器（Glance Transformer）和用于实体估计的凝视变换器（Gaze Transformer）。一瞥变换器在凝视变换器分析实体及其关系的帮助下预测主要活动，而凝视变换器则通过仅关注一瞥变换器预测的相关实体来估计其边界框定位。我们的CoFormer在SWiG数据集的所有评估指标上均达到了当前最佳水平。训练代码和模型权重可在https://github.com/jhcho99/CoFormer 获取。