PocketNet : Réseau de Reconnaissance Faciale Extrêmement Léger Utilisant la Recherche d'Architecture Neuronale et la Distillation de Connaissances en Plusieurs Étapes

Les réseaux neuronaux profonds ont rapidement émergé comme la méthode principale pour la reconnaissance faciale (FR). Cependant, cela limite le déploiement de tels modèles, qui contiennent un nombre extrêmement élevé de paramètres, sur des appareils embarqués et d'entrée de gamme. Dans cette étude, nous présentons une solution de FR à la fois extrêmement légère et précise, nommée PocketNet. Nous utilisons la recherche d'architecture neuronale pour développer une nouvelle famille d'architectures spécifiques aux visages et légères. De plus, nous proposons un nouveau paradigme d'entraînement basé sur le distillation de connaissances (KD), appelé KD multi-étapes, où les connaissances sont transférées du modèle enseignant au modèle élève à différents stades de maturité de l'entraînement. Nous menons une étude détaillée par élimination (ablation study) démontrant à la fois la pertinence de l'utilisation de la recherche d'architecture neuronale (NAS) pour la tâche spécifique de FR plutôt que pour la classification générale d'objets, et les avantages de notre KD multi-étapes proposé. Nous présentons une évaluation expérimentale approfondie ainsi que des comparaisons avec les modèles FR compacts les plus avancés (state-of-the-art, SOTA) sur neuf benchmarks différents, y compris des benchmarks d'évaluation à grande échelle tels que IJB-B, IJB-C et MegaFace. Les PocketNets ont constamment amélioré les performances SOTA en FR sur neuf benchmarks principaux lorsqu'on considère le même niveau de compacité du modèle. Avec seulement 0,92 million de paramètres, notre réseau le plus petit, PocketNetS-128, a obtenu des résultats très compétitifs par rapport aux modèles SOTA compacts récents qui peuvent contenir jusqu'à 4 millions de paramètres.