エネルギーに基づく学習によるシーングラフ生成

従来のシーングラフ生成手法は、物体と関係性を独立したエンティティとして扱う交差エントロピー損失関数を用いて学習される。しかし、このような定式化は、出力空間における構造を無視しており、本質的に構造化された予測問題においては不適切である。本研究では、シーングラフの生成を目的とした新たなエネルギーに基づく学習フレームワークを提案する。提案する定式化は、出力空間におけるシーングラフの構造を効率的に組み込むことが可能となる。この学習フレームワークにおける追加的な制約は、誘導バイアス（inductive bias）として機能し、少量のラベルからモデルが効率的に学習できるようにする。本研究で提案するエネルギーに基づくフレームワークを用いて、既存の最先端モデルを再学習した結果、Visual GenomeおよびGQAのベンチマークデータセットにおいて、それぞれ最大21%および27%の性能向上が達成された。さらに、データが限られたゼロショットおよび少数ショット設定においても、本フレームワークの学習効率の優位性を実証し、優れた性能を示した。