Réseaux de neurones convolutifs binaires hiérarchiques pour la localisation de points d'intérêt avec des ressources limitées

Notre objectif est de concevoir des architectures qui conservent les performances révolutionnaires des Réseaux Neuronaux Convolutifs (CNNs) pour la localisation de points d'intérêt et qui, en même temps, sont légères, compactes et adaptées aux applications disposant de ressources informatiques limitées. À cette fin, nous apportons les contributions suivantes : (a) nous sommes les premiers à étudier l'effet de la binarisation des réseaux neuronaux sur les tâches de localisation, notamment l'estimation de la posture humaine et l'alignement facial. Nous évaluons exhaustivement diverses options de conception, identifions les goulets d'étranglement en termes de performance et proposons, plus important encore, plusieurs méthodes orthogonales pour améliorer ces performances. (b) Sur la base de notre analyse, nous proposons une nouvelle architecture résiduelle hiérarchique, parallèle et multi-échelle qui offre une amélioration significative des performances par rapport au bloc bottleneck standard tout en ayant le même nombre de paramètres, ce qui comble ainsi l'écart entre le réseau original et sa version binarisée. (c) Nous menons un grand nombre d'études d'ablation qui éclairent les propriétés et les performances du bloc proposé. (d) Nous présentons des résultats d'expériences sur les jeux de données les plus complexes pour l'estimation de la posture humaine et l'alignement facial, en signalant dans de nombreux cas des performances à l'état de l'art. (e) Nous fournissons également des résultats supplémentaires pour le problème du segmentionnement des parties faciales. Le code peut être téléchargé depuis https://www.adrianbulat.com/binary-cnn-landmark