Command Palette
Search for a command to run...
MobileNetV4 -- Modèles universels pour l'écosystème mobile
MobileNetV4 -- Modèles universels pour l'écosystème mobile
Résumé
Nous présentons la dernière génération de MobileNets, appelée MobileNetV4 (MNv4), caractérisée par des conceptions d’architectures universellement efficaces pour les dispositifs mobiles. Au cœur de cette nouvelle architecture, nous introduisons le bloc de recherche Universal Inverted Bottleneck (UIB), une structure unifiée et flexible qui combine l’Inverted Bottleneck (IB), ConvNext, le réseau à propagation avant (FFN) et une nouvelle variante, le Depthwise supplémentaire (ExtraDW). Parallèlement à l’UIB, nous proposons Mobile MQA, un bloc d’attention spécifiquement conçu pour les accélérateurs mobiles, offrant une accélération significative de 39 %. Nous introduisons également une recette optimisée de recherche d’architecture neuronale (NAS) qui améliore considérablement l’efficacité du processus de recherche pour MNv4. L’intégration de l’UIB, de Mobile MQA et de cette recette NAS améliorée donne lieu à une nouvelle série de modèles MNv4, dont la plupart atteignent une optimalité de Pareto sur les processeurs mobiles, DSPs, GPUs, ainsi que sur des accélérateurs spécialisés tels que l’Apple Neural Engine et le Google Pixel EdgeTPU — une caractéristique inédite par rapport à tous les autres modèles testés. Enfin, pour améliorer davantage la précision, nous introduisons une nouvelle technique de distillation. Grâce à cette technique, notre modèle MNv4-Hybrid-Large atteint une précision de 87 % sur ImageNet-1K, avec un temps d’exécution de seulement 3,8 ms sur le Pixel 8 EdgeTPU.