HyperAIHyperAI

Command Palette

Search for a command to run...

FlexConv : Convolutions de noyaux continus avec des tailles de noyaux différentiables

David W. Romero∗1, Robert-Jan Bruintjes∗2, Erik J. Bekkers3, Jakub M. Tomczak1, Mark Hoogendoorn1, Jan C. van Gemert2

Résumé

Lors de la conception des Réseaux Neuronaux Convolutifs (CNNs), il est nécessaire de sélectionner la taille des noyaux convolutifs avant l'entraînement. Des travaux récents montrent que les CNNs bénéficient de tailles de noyaux différentes à différents niveaux, mais explorer toutes les combinaisons possibles est inviable en pratique. Une approche plus efficace consiste à apprendre la taille du noyau pendant l'entraînement. Cependant, les travaux existants qui apprennent la taille du noyau ont une bande passante limitée. Ces approches échelonnent les noyaux par dilatation, et donc le détail qu'ils peuvent décrire est limité. Dans ce travail, nous proposons FlexConv, une nouvelle opération convolutive permettant d'apprendre des noyaux convolutifs à large bande passante et à taille de noyau apprenable, tout en maintenant un coût paramétrique fixe. Les FlexNets modélisent les dépendances à long terme sans utiliser le pooling, atteignent des performances de pointe sur plusieurs jeux de données séquentiels, surpassent les travaux récents avec des tailles de noyaux apprises et sont compétitifs avec des ResNets beaucoup plus profonds sur des jeux de données d'image de référence. De plus, les FlexNets peuvent être déployés à des résolutions plus élevées que celles observées lors de l'entraînement. Pour éviter l'aliasing, nous proposons une nouvelle paramétrisation du noyau qui permet un contrôle analytique de la fréquence des noyaux. Notre nouvelle paramétrisation du noyau montre une puissance descriptive supérieure et une vitesse de convergence plus rapide que les paramétrisations existantes. Ceci conduit à des améliorations importantes dans la précision de classification.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp