Entraînement conjoint sur plusieurs jeux de données avec des critères d'étiquetage incohérents pour la reconnaissance d'expressions faciales

Une manière potentielle d'améliorer les performances de la reconnaissance des expressions faciales (FER) consiste à enrichir l'ensemble d'apprentissage en augmentant le nombre d'échantillons. En intégrant plusieurs jeux de données FER, les modèles d'apprentissage profond peuvent extraire des caractéristiques plus discriminantes. Toutefois, les critères d'étiquetage incohérents et les biais subjectifs présents dans les jeux de données FER annotés peuvent considérablement nuire à la précision de reconnaissance des modèles d'apprentissage profond lorsqu'ils traitent des jeux de données combinés. Effectuer un apprentissage conjoint sur plusieurs jeux de données reste ainsi un défi. Dans cette étude, nous proposons une méthode d'apprentissage conjoint pour entraîner un modèle FER à partir de plusieurs jeux de données FER. Notre approche comporte quatre étapes : (1) sélection d'un sous-ensemble à partir du jeu de données supplémentaire, (2) génération d'étiquettes pseudo-continues pour le jeu de données cible, (3) révision des étiquettes des différents jeux de données à l’aide d’une correspondance d’étiquettes continues et d’un re-étiquetage discret selon les critères d’étiquetage du jeu de données cible, et (4) entraînement conjoint du modèle par apprentissage multi-tâches. Nous avons mené des expériences d'apprentissage conjoint sur deux bases de données populaires pour la FER en situation réelle, RAF-DB et CAER-S, en utilisant AffectNet comme jeu de données supplémentaire. Les résultats expérimentaux montrent que notre méthode surpasser la fusion directe des différentes bases de données FER en un seul ensemble d'apprentissage, et atteint des performances de pointe sur RAF-DB et CAER-S, avec des précisions respectives de 92,24 % et 94,57 %.