意味的多様性を考慮したプロトタイプベースの学習による偏りのないシーングラフ生成

シーングラフ生成（Scene Graph Generation, SGG）タスクは、画像内の物体を検出し、それらの物体間の関係を表す述語を予測することを目的としています。しかし、SGGベンチマークデータセットでは、各主語-目的語ペアに対して単一の述語が注釈付けられています。これにより、単一の述語が多様な意味を持つこと（つまり、意味的多様性）があるにもかかわらず、既存のSGGモデルは各ペアに対して唯一の述語を予測するように訓練されています。その結果、SGGモデルは述語に存在する可能性のある意味的多様性を見落とし、偏った予測につながることがあります。本論文では、新しいモデル非依存型の意味的多様性対応プロトタイプベース学習（Semantic Diversity-aware Prototype-based Learning, DPL）フレームワークを提案します。このフレームワークは、述語の意味的多様性を理解することで偏りのない予測を可能にします。具体的には、DPLは各述語がカバーする意味空間内の領域を学習し、単一の述語が表すさまざまな異なる意味を区別します。広範な実験により、提案したモデル非依存型DPLフレームワークが既存のSGGモデルにおいて大幅な性能向上をもたらし、また述語の意味的多様性を効果的に理解できることを示しています。