Ces oiseaux sont-ils similaires : apprentissage de réseaux ramifiés pour des représentations fines

La classification d’images à granularité fine constitue une tâche difficile en raison de la présence d’une distribution hiérarchique de granularité grossière à fine au sein des jeux de données. En général, les parties de l’objet sont utilisées pour distinguer différents objets dans les jeux de données à granularité fine, mais toutes les parties ne sont ni bénéfiques ni indispensables. Ces dernières années, des descriptions textuelles naturelles ont été exploitées pour extraire des informations sur les parties discriminantes des objets. Ce papier s’appuie sur les descriptions textuelles naturelles et propose une stratégie visant à apprendre une représentation conjointe entre les descriptions textuelles et les images, en utilisant un réseau à deux branches à plusieurs couches, afin d’améliorer la tâche de classification à granularité fine. Des expériences étendues montrent que notre approche permet d’obtenir des améliorations significatives en précision pour la classification d’images à granularité fine. En outre, notre méthode atteint de nouveaux résultats d’état de l’art sur le jeu de données CUB-200-2011.