从有偏场景图中恢复无偏场景图

给定输入图像，场景图生成（Scene Graph Generation, SGG）旨在生成全面的图形表示，描述显著对象之间的视觉关系。近年来，越来越多的研究致力于解决SGG中的长尾问题；然而，不同类别标签缺失比例的不平衡问题，即报告偏差，加剧了长尾现象，而现有的去偏差方法却很少考虑这一问题且无法解决。在本文中，我们指出由于标签缺失，SGG可以被视为一个“从正例和未标记数据中学习”（Positive and Unlabeled Learning, PU学习）的问题。通过利用标签频率（即所有正例中每个类别的已标记正例所占的比例），可以从有偏的概率中恢复无偏的概率，从而消除报告偏差。为了获得准确的标签频率估计值，我们提出了一种动态标签频率估计（Dynamic Label Frequency Estimation, DLFE）方法，该方法利用训练时的数据增强，并在多个训练迭代过程中取平均值以引入更多有效的样本。大量实验表明，DLFE在估计标签频率方面比传统估计方法的一个简单变体更为有效，并且DLFE显著缓解了长尾问题，在VG数据集上达到了最先进的去偏差性能。我们还通过定性分析展示了带有DLFE的SGG模型能够生成更加平衡和无偏的场景图。