ISyNet : Conception de réseaux de neurones convolutifs pour accélérateur IA

Ces dernières années, l'apprentissage profond a obtenu des résultats remarquables dans de nombreux problèmes pratiques, tels que la vision par ordinateur, le traitement du langage naturel, la reconnaissance vocale, et bien d'autres domaines. Pendant de nombreuses années, l'objectif principal de la recherche a été d'améliorer la qualité des modèles, même lorsque la complexité était impraticable. Toutefois, pour les solutions en production, qui exigent souvent un fonctionnement en temps réel, la latence du modèle joue un rôle crucial. Les architectures actuelles de pointe sont généralement identifiées grâce à la recherche d'architecture neuronale (NAS), en tenant compte de la complexité du modèle. Néanmoins, la conception d'un espace de recherche adapté à un matériel spécifique reste un défi. Pour répondre à ce problème, nous proposons une mesure d'efficacité matérielle pour l'espace de recherche d'architecture neuronale – la mesure d'efficacité matricielle (MEM) ; un espace de recherche composé d'opérations efficaces au niveau matériel ; une méthode d'échelle consciente de la latence ; et ISyNet, un ensemble d'architectures conçues pour être rapides sur des unités de traitement neuronales spécialisées (NPU) tout en restant précises. Nous démontrons l'avantage des architectures proposées sur des dispositifs NPU sur ImageNet, ainsi que leur capacité de généralisation aux tâches ultérieures de classification et de détection.