Regroupement et agrégation : reconnaissance faciale avec un ensemble de sondes de grande taille

La fusion de caractéristiques joue un rôle fondamental dans la reconnaissance faciale dans des conditions non contraintes, où les entrées (sondes) sont constituées d’un ensemble de $N$ images de faible qualité dont la qualité individuelle varie. Les progrès réalisés dans les mécanismes d’attention et les modules récurrents ont permis de concevoir des approches de fusion de caractéristiques capables de modéliser les relations entre les images d’un ensemble d’entrée. Toutefois, les mécanismes d’attention ne peuvent pas être mis à l’échelle pour de grandes valeurs de $N$ en raison de leur complexité quadratique, tandis que les modules récurrents souffrent d’une sensibilité à l’ordre des entrées. Nous proposons un paradigme de fusion de caractéristiques en deux étapes, appelé Cluster and Aggregate, qui permet à la fois une scalabilité pour de grandes valeurs de $N$ et préserve la capacité à effectuer une inférence séquentielle avec invariance à l’ordre. Plus précisément, l’étape Cluster consiste en une affectation linéaire des $N$ entrées aux $M$ centres de clusters globaux, tandis que l’étape Aggregation réalise une fusion sur les $M$ caractéristiques regroupées. Ces caractéristiques regroupées jouent un rôle essentiel lorsque les entrées sont séquentielles, car elles peuvent servir de résumé des caractéristiques antérieures. En exploitant l’invariance à l’ordre de l’opération d’agrégation incrémentale, nous concevons une règle de mise à jour qui garantit l’invariance à l’ordre du lot, assurant ainsi que les contributions des images initiales dans la séquence ne s’atténuent pas avec le nombre d’étapes temporelles. Des expériences menées sur les jeux de données de référence IJB-B et IJB-S démontrent l’efficacité supérieure du paradigme en deux étapes proposé pour la reconnaissance faciale dans des conditions non contraintes. Le code source et les modèles pré-entraînés sont disponibles à l’adresse suivante : https://github.com/mk-minchul/caface