基于能量的学习在场景图生成中的应用

传统的场景图生成方法通常采用交叉熵损失进行训练，将物体与关系视为相互独立的实体。然而，这种建模方式忽略了输出空间中固有的结构信息，而场景图生成本质上是一个具有内在结构的预测任务。在本工作中，我们提出了一种新型的能量基学习框架，用于场景图生成。该框架能够高效地将场景图在输出空间中的结构信息融入学习过程。这一额外的结构约束在学习框架中充当归纳偏置（inductive bias），使模型能够仅依靠少量标注数据便实现高效学习。我们利用所提出的能量基框架对现有的最先进模型进行训练，在Visual Genome和GQA基准数据集上分别取得了高达21%和27%的性能提升。此外，通过在零样本（zero-shot）和少样本（few-shot）设置下的实验，我们进一步展示了该框架在数据稀缺场景下的卓越学习效率。