Apprentissage à partir des relations entre les étiquettes dans l'affect humain

L'estimation automatisée de l'affect humain et de l'état mental fait face à plusieurs difficultés, notamment l'apprentissage à partir d'étiquettes avec une résolution temporelle faible ou inexistante, l'apprentissage à partir de petits ensembles de données contenant peu d'informations (souvent en raison de contraintes de confidentialité) et des vidéos longues et naturelles. Pour ces raisons, les méthodologies d'apprentissage profond ont tendance à surapprendre, c'est-à-dire à produire des représentations latentes avec une mauvaise performance de généralisation sur la tâche finale de régression. Afin de surmonter ces défis, nous présentons dans ce travail deux contributions complémentaires. Premièrement, nous introduisons une nouvelle perte relationnelle pour les problèmes de régression multietiquettes et ordinaux qui régularise l'apprentissage et conduit à une meilleure généralisation. La perte proposée utilise les informations inter-relationnelles des vecteurs d'étiquettes pour apprendre de meilleures représentations latentes en alignant les distances entre les étiquettes du lot sur les distances dans l'espace des caractéristiques latentes. Deuxièmement, nous utilisons une architecture d'attention en deux étapes qui estime une cible pour chaque clip en utilisant les caractéristiques des clips voisins comme contexte temporel.Nous évaluons la méthodologie proposée sur les problèmes d'estimation continue de l'affect et de gravité de la schizophrénie, en raison des parallèles méthodologiques et contextuels entre ces deux domaines. Les résultats expérimentaux montrent que la méthodologie proposée surpassent toutes les lignes de base. Dans le domaine de la schizophrénie, notre méthode dépasse largement l'état actuel de l'art, atteignant un PCC (Pearson Correlation Coefficient) jusqu'à 78%, une performance proche de celle des experts humains (85%) et bien supérieure aux travaux précédents (amélioration pouvant atteindre 40%). En ce qui concerne la reconnaissance de l'affect, nous surpassons les méthodes précédentes basées sur la vision en termes de CCC (Concordance Correlation Coefficient) sur les jeux de données OMG et AMIGOS. Plus précisément, pour AMIGOS, nous dépassons le CCC SoTA (State of the Art) précédent pour l'excitation et la valence respectivement de 9% et 13%, et pour le jeu de données OMG, nous surpassons les travaux visuels précédents jusqu'à 5% pour l'excitation et la valence.