Comment entraîner votre modèle basé sur l’énergie pour la régression

Les modèles basés sur l’énergie (Energy-based models, EBM) sont devenus de plus en plus populaires dans le domaine de la vision par ordinateur ces dernières années. Bien qu’ils soient couramment utilisés pour la modélisation générative d’images, des travaux récents ont également appliqué les EBM à des tâches de régression, obtenant des performances de pointe dans des domaines tels que la détection d’objets et le suivi visuel. L’entraînement des EBM reste toutefois un défi. Bien qu’une variété de techniques aient été explorées pour la modélisation générative, leur application à la régression n’est pas encore bien étudiée. Il n’est donc pas encore clair comment entraîner les EBM pour obtenir les meilleures performances possibles en régression. Nous abordons donc cette problématique en proposant la première étude détaillée sur ce sujet. À cette fin, nous introduisons une extension simple mais extrêmement efficace de l’estimation contrastive du bruit (noise contrastive estimation), et comparons soigneusement ses performances à celles de six méthodes populaires issues de la littérature sur les tâches de régression en 1D et de détection d’objets. Les résultats de cette comparaison suggèrent que notre méthode d’entraînement devrait être considérée comme la référence par défaut. Nous appliquons également notre approche au suivi visuel, obtenant des performances de pointe sur cinq jeux de données. Notamment, notre suiveur atteint un score de 63,7 % en AUC sur LaSOT et 78,7 % de succès sur TrackingNet. Le code est disponible à l’adresse suivante : https://github.com/fregu856/ebms_regression.