FLAVA：一种基础语言与视觉对齐模型

当前最先进的视觉模型及视觉-语言模型依赖大规模的视觉-语言预训练，以在多种下游任务中取得优异性能。通常，这类模型要么采用跨模态（对比式）架构，要么采用多模态（早期融合）架构，但难以同时具备两者特性；此外，它们往往仅针对特定模态或任务进行优化。一个具有前景的研究方向是构建单一、统一的通用模型作为“基础模型”，能够同时覆盖所有模态——真正意义上的视觉与语言基础模型，应在视觉任务、语言任务以及跨模态和多模态的视觉-语言任务上均表现出色。为此，我们提出了FLAVA这一模型，并在涵盖上述各类模态的35项任务上展示了其卓越的综合性能。