HyperAIHyperAI

Command Palette

Search for a command to run...

MixMo : Mixage de plusieurs entrées pour plusieurs sorties via des sous-réseaux profonds

Alexandre Rame Remy Sun Matthieu Cord

Résumé

Les stratégies récentes ont permis d’obtenir un ensemble « sans coût » en entraînant simultanément des sous-réseaux diversifiés à l’intérieur d’un seul réseau de base. L’idée principale durant l’entraînement consiste à ce que chaque sous-réseau apprenne à classer uniquement une des plusieurs entrées fournies simultanément. Toutefois, la question de la meilleure manière de combiner ces entrées multiples n’a pas encore été explorée. Dans cet article, nous introduisons MixMo, un nouveau cadre généralisé pour l’apprentissage de sous-réseaux profonds multi-entrée et multi-sortie. Notre motivation centrale est de remplacer l’opération de somme sous-optimale cachée dans les approches antérieures par un mécanisme de mélange plus approprié. À cette fin, nous nous inspirons des techniques de data augmentation basées sur le mélange de samples réussies. Nous montrons que le mélange binaire au niveau des caractéristiques — en particulier avec des patches rectangulaires issus de CutMix — améliore significativement les résultats en renforçant la puissance et la diversité des sous-réseaux. Nous surpassons l’état de l’art en classification d’images sur les jeux de données CIFAR-100 et Tiny ImageNet. Nos modèles, faciles à implémenter, surpassent notablement les ensembles profonds augmentés par données, sans les surcoûts en inférence ni en mémoire. Étant donné que nous opérons au niveau des caractéristiques et exploitons de manière plus efficace l’expressivité des grands réseaux, nous ouvrons ainsi une nouvelle voie de recherche complémentaire aux travaux antérieurs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp