バイアスの影響を受けたシーングラフから無偏倚なシーングラフを回復する

入力画像に対して、シーングラフ生成（Scene Graph Generation: SGG）は、目立つ物体間の視覚的な関係を描写する包括的なグラフィカル表現を生成することを目指しています。最近では、SGGにおける長尾問題に多くの努力が払われていますが、異なるクラスの欠落ラベルの割合の不均衡、すなわち報告バイアスが長尾問題を悪化させているという点はほとんど考慮されておらず、既存のデバイアス手法では解決できません。本論文では、欠落ラベルによりSGGが「正例と未ラベルデータからの学習」（Positive and Unlabeled Learning: PU学習）問題として捉えられることを示し、ラベル頻度を利用することで偏った確率から非偏確率を回復して報告バイアスを取り除く方法を提案します。ここでいうラベル頻度とは、すべての正例の中で各クラスがラベル付けされた正例の割合です。正確なラベル頻度推定値を得るためには、訓練時のデータ拡張を利用しつつ複数の訓練イテレーションで平均化を行うことでより有効な例を導入するDynamic Label Frequency Estimation (DLFE) を提案します。広範囲にわたる実験結果は、DLFEが従来の推定方法の単純な変種よりもラベル頻度の推定において効果的であり、VGデータセット上で長尾問題を大幅に緩和し、最先端のデバイアス性能を達成していることを示しています。また、質的な評価でもDLFEを使用したSGGモデルが著しくバランスよく且つ非偏倚的なシーングラフを生成することが確認されています。