EnGraf-Net : Réseau à branches à granularité multiple avec greffage fin-grain et grossier pour la tâche de classification

Les modèles de classification fine-grainée peuvent se concentrer explicitement sur les détails pertinents utiles à la distinction de classes très similaires, notamment lorsque la variance intra-classe est élevée et la variance inter-classe faible dans un jeu de données donné. La plupart de ces modèles utilisent des annotations de parties sous forme de boîtes englobantes, de localisations de parties ou d’attributs textuels afin d’améliorer les performances de classification, tandis que d’autres recourent à des techniques sophistiquées pour extraire automatiquement une carte d’attention. Nous supposons que les approches basées sur les parties, telles que la méthode de découpage automatique, souffrent d’une perte de représentation des caractéristiques locales, qui sont fondamentales pour distinguer des objets similaires. Alors que la classification fine-grainée vise à reconnaître la feuille d’un graphe, les humains reconnaissent un objet tout en établissant également des associations sémantiques. Dans cet article, nous exploitons ces associations sémantiques structurées sous forme d’une hiérarchie (taxonomie) comme signaux supervisés, et les intégrons dans un modèle de réseau neuronal profond end-to-end appelé EnGraf-Net. Des expériences étendues sur trois jeux de données bien connus — Cifar-100, CUB-200-2011 et FGVC-Aircraft — démontrent l’avantage de EnGraf-Net par rapport à de nombreux modèles de classification fine-grainée, tout en restant compétitif avec les meilleurs modèles récents, sans recourir à aucune technique de découpage ni à des annotations manuelles.