FlexConv : Convolutions de noyaux continus avec des tailles de noyaux différentiables

Lors de la conception des Réseaux Neuronaux Convolutifs (CNNs), il est nécessaire de sélectionner la taille des noyaux convolutifs avant l'entraînement. Des travaux récents montrent que les CNNs bénéficient de tailles de noyaux différentes à différents niveaux, mais explorer toutes les combinaisons possibles est inviable en pratique. Une approche plus efficace consiste à apprendre la taille du noyau pendant l'entraînement. Cependant, les travaux existants qui apprennent la taille du noyau ont une bande passante limitée. Ces approches échelonnent les noyaux par dilatation, et donc le détail qu'ils peuvent décrire est limité. Dans ce travail, nous proposons FlexConv, une nouvelle opération convolutive permettant d'apprendre des noyaux convolutifs à large bande passante et à taille de noyau apprenable, tout en maintenant un coût paramétrique fixe. Les FlexNets modélisent les dépendances à long terme sans utiliser le pooling, atteignent des performances de pointe sur plusieurs jeux de données séquentiels, surpassent les travaux récents avec des tailles de noyaux apprises et sont compétitifs avec des ResNets beaucoup plus profonds sur des jeux de données d'image de référence. De plus, les FlexNets peuvent être déployés à des résolutions plus élevées que celles observées lors de l'entraînement. Pour éviter l'aliasing, nous proposons une nouvelle paramétrisation du noyau qui permet un contrôle analytique de la fréquence des noyaux. Notre nouvelle paramétrisation du noyau montre une puissance descriptive supérieure et une vitesse de convergence plus rapide que les paramétrisations existantes. Ceci conduit à des améliorations importantes dans la précision de classification.