UPANets : Apprendre à partir des réseaux d'attention sur les pixels universels

Dans le domaine de la classification d’images, les réseaux basés sur les connexions sautées (skip connections) et les connexions denses ont dominé la plupart des classements. Récemment, suite au succès du mécanisme d’attention à plusieurs têtes dans le traitement du langage naturel, il est désormais évident que l’on se trouve à une période où l’adoption d’un modèle du type Transformer ou d’une architecture hybride combinant CNN et attention s’impose. Toutefois, les premiers nécessitent des ressources considérables pour l’entraînement, tandis que les seconds offrent un équilibre optimal dans cette direction. Dans ce travail, afin de permettre aux CNN de traiter efficacement à la fois les informations globales et locales, nous proposons UPANets, une architecture qui associe une attention canal-par-canal à une structure hybride de connexions sautées et denses. De plus, la structure dite « extrême-connexion » confère à UPANets une robustesse accrue, ainsi qu’un paysage de perte plus lisse. En expérimentation, UPANets dépasse la plupart des états de l’art (SOTA) bien connus et largement utilisés, atteignant une précision de 96,47 % sur CIFAR-10, 80,29 % sur CIFAR-100 et 67,67 % sur Tiny ImageNet. Plus important encore, ces performances sont obtenues avec une efficacité élevée en termes de nombre de paramètres, et l’entraînement n’a nécessité qu’un seul GPU dédié à un utilisateur. Nous mettons à disposition le code d’implémentation de UPANets à l’adresse suivante : https://github.com/hanktseng131415go/UPANets.