Apprentissage fondé sur l'énergie pour la génération de graphes scéniques

Les méthodes traditionnelles de génération de graphes de scène sont entraînées à l’aide de pertes d’entropie croisée qui traitent les objets et les relations comme des entités indépendantes. Cette formulation néglige toutefois la structure présente dans l’espace de sortie, dans un problème de prédiction intrinsèquement structuré. Dans ce travail, nous introduisons un cadre d’apprentissage novateur basé sur une énergie pour la génération de graphes de scène. La formulation proposée permet d’intégrer efficacement la structure des graphes de scène dans l’espace de sortie. Cette contrainte supplémentaire dans le cadre d’apprentissage agit comme un biais inductif, permettant aux modèles d’apprendre de manière efficace à partir d’un petit nombre d’étiquettes. Nous utilisons le cadre basé sur l’énergie proposé pour entraîner des modèles d’état de l’art existants, obtenant ainsi une amélioration significative des performances, allant jusqu’à 21 % et 27 % respectivement sur les jeux de données de benchmark Visual Genome et GQA. En outre, nous mettons en évidence l’efficacité d’apprentissage du cadre proposé en démontrant des performances supérieures dans les régimes zéro- et peu-données, où les données sont rares.