AUFormer : Les Transformers de vision sont des détecteurs d'unités d'action faciale efficaces en termes de paramètres.

Les Unités d'Action Faciale (AU) constituent un concept essentiel dans le domaine de l'informatique affective, et la détection des AU a toujours été un sujet de recherche très actif. Les méthodes existantes souffrent de problèmes de surapprentissage en raison de l'utilisation d'un grand nombre de paramètres apprenables sur des jeux de données annotés en AU peu abondants ou d'une forte dépendance à des données supplémentaires pertinentes considérables. L'apprentissage par transfert efficace en termes de paramètres (PETL) offre une paradigme prometteuse pour relever ces défis, bien que ses méthodes actuelles manquent de conception adaptée aux caractéristiques des AU. Par conséquent, nous menons une investigation innovante du paradigme PETL à la détection des AU, en introduisant AUFormer et en proposant un nouveau mécanisme de collaboration entre Experts à Mélange de Connaissances (MoKE). Un MoKE individuel spécifique à un certain AU avec un minimum de paramètres apprenables intègre d'abord une connaissance personnalisée multi-échelle et corrélative. Ensuite, le MoKE collabore avec d'autres MoKEs au sein du groupe d'experts pour obtenir des informations agrégées et les injecter dans le Transformers Visuel (ViT) figé afin d'atteindre une détection des AU efficace en termes de paramètres. De plus, nous concevons une perte asymétrique pondérée consciente des difficultés et tronquée par marge (MDWA-Loss), qui peut encourager le modèle à se concentrer davantage sur les AU activées, différencier la difficulté des AU non activées et éliminer les échantillons potentiellement mal étiquetés. Des expériences approfondies sous divers angles, y compris au sein du domaine, entre domaines, l'efficacité des données et le domaine des micro-expressions, démontrent les performances de pointe d’AUFormer ainsi que ses capacités de généralisation robuste sans avoir recours à des données supplémentaires pertinentes. Le code source d’AUFormer est disponible sur https://github.com/yuankaishen2001/AUFormer.