基于监督的多模态双变换器用于图像与文本分类

自监督双向Transformer模型（如BERT）在多种文本分类任务中取得了显著进展。然而，现代数字世界正日益呈现多模态特征，文本信息通常伴随着图像等其他模态数据。本文提出一种监督式多模态双向Transformer模型，该模型融合文本编码器与图像编码器的信息，在多个多模态分类基准任务上取得了当前最优性能，显著优于多种强基线方法，包括在专门设计用于评估多模态能力的高难度测试集上也表现优异。