Distillation d'exemples virtuels pour la reconnaissance à distribution longue

Nous abordons le problème de la reconnaissance visuelle à queue longue du point de vue de la distillation de connaissances en proposant une méthode appelée Distill the Virtual Examples (DiVE). Plus précisément, en considérant les prédictions du modèle enseignant comme des exemples virtuels, nous démontrons qu’une distillation à partir de ces exemples virtuels est équivalente à une apprentissage par distribution de labels sous certaines contraintes. Nous montrons que lorsque la distribution des exemples virtuels devient plus plate que la distribution d’entrée initiale, les classes mal représentées en queue bénéficient d’une amélioration significative, ce qui est crucial pour la reconnaissance à queue longue. La méthode DiVE proposée permet d’ajuster explicitement la distribution des exemples virtuels afin de la rendre plus plate. Des expériences étendues sur trois jeux de données standard, y compris le grand jeu iNaturalist, confirment que DiVE surpasse significativement les méthodes de pointe. En outre, des analyses complémentaires et des expériences supplémentaires valident l’interprétation des exemples virtuels et démontrent l’efficacité des conceptions spécifiques intégrées dans DiVE pour les problèmes à queue longue.