HyperAIHyperAI

Command Palette

Search for a command to run...

UPANets : Apprendre à partir des réseaux d'attention sur les pixels universels

Ching-Hsun Tseng Shin-Jye Lee Jia-Nan Feng Shengzhong Mao Yu-Ping Wu Jia-Yu Shang Mou-Chung Tseng Xiao-Jun Zeng

Résumé

Dans le domaine de la classification d’images, les réseaux basés sur les connexions sautées (skip connections) et les connexions denses ont dominé la plupart des classements. Récemment, suite au succès du mécanisme d’attention à plusieurs têtes dans le traitement du langage naturel, il est désormais évident que l’on se trouve à une période où l’adoption d’un modèle du type Transformer ou d’une architecture hybride combinant CNN et attention s’impose. Toutefois, les premiers nécessitent des ressources considérables pour l’entraînement, tandis que les seconds offrent un équilibre optimal dans cette direction. Dans ce travail, afin de permettre aux CNN de traiter efficacement à la fois les informations globales et locales, nous proposons UPANets, une architecture qui associe une attention canal-par-canal à une structure hybride de connexions sautées et denses. De plus, la structure dite « extrême-connexion » confère à UPANets une robustesse accrue, ainsi qu’un paysage de perte plus lisse. En expérimentation, UPANets dépasse la plupart des états de l’art (SOTA) bien connus et largement utilisés, atteignant une précision de 96,47 % sur CIFAR-10, 80,29 % sur CIFAR-100 et 67,67 % sur Tiny ImageNet. Plus important encore, ces performances sont obtenues avec une efficacité élevée en termes de nombre de paramètres, et l’entraînement n’a nécessité qu’un seul GPU dédié à un utilisateur. Nous mettons à disposition le code d’implémentation de UPANets à l’adresse suivante : https://github.com/hanktseng131415go/UPANets.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
UPANets : Apprendre à partir des réseaux d'attention sur les pixels universels | Articles | HyperAI