TResNet : Architecture à haute performance dédiée aux GPU

De nombreux modèles d'apprentissage profond développés ces dernières années atteignent une précision ImageNet supérieure à celle de ResNet50, tout en nécessitant un nombre de FLOPS inférieur ou comparable. Bien que les FLOPS soient souvent considérés comme un indicateur de l'efficacité du réseau, lorsqu’on mesure le débit réel d’entraînement et de déduction sur GPU, ResNet50 classique s’avère généralement nettement plus rapide que ses concurrents récents, offrant un meilleur compromis entre précision et débit.Dans ce travail, nous introduisons une série de modifications d’architecture visant à améliorer la précision des réseaux neuronaux tout en préservant leur efficacité en entraînement et en déduction sur GPU. Nous commençons par identifier et analyser les goulets d’étranglement induits par les optimisations basées sur les FLOPS. Ensuite, nous proposons des conceptions alternatives mieux adaptées à la structure et aux ressources des GPU. Enfin, nous présentons une nouvelle famille de modèles spécifiquement conçus pour les GPU, appelée TResNet, qui atteint une meilleure précision et une efficacité supérieure par rapport aux ConvNet précédents.En utilisant un modèle TResNet offrant un débit GPU similaire à celui de ResNet50, nous atteignons une précision top-1 de 80,8 % sur ImageNet. Nos modèles TResNet se transforment également très bien et atteignent des performances de pointe sur des jeux de données de classification à étiquette unique compétitifs, tels que Stanford Cars (96,0 %), CIFAR-10 (99,0 %), CIFAR-100 (91,5 %) et Oxford-Flowers (99,1 %). Ils se distinguent également sur des tâches de classification à plusieurs étiquettes et de détection d’objets. Le code est disponible à l’adresse suivante : https://github.com/mrT23/TResNet.