Distribution Matching pour l'Apprentissage Multitâche Hétérogène : une Étude à Grande Échelle sur les Visages

L'apprentissage multi-tâches (Multi-Task Learning) est apparu comme une méthodologie dans laquelle plusieurs tâches sont apprises conjointement par un algorithme d'apprentissage partagé, tel qu'un réseau neuronal profond (DNN). L'ATM (Apprentissage Multi-Tâches) repose sur l'hypothèse que les tâches considérées sont liées ; il exploite donc les connaissances partagées pour améliorer les performances de chaque tâche individuelle. Les tâches sont généralement considérées comme homogènes, c'est-à-dire qu'elles se réfèrent au même type de problème. De plus, l'ATM est généralement basé sur des annotations de vérité terrain avec un chevauchement total ou partiel entre les tâches. Dans cette étude, nous abordons l'ATM hétérogène, en traitant simultanément des problèmes de détection, de classification et de régression. Nous explorons la pertinence des tâches comme moyen de co-apprentissage, de manière faiblement supervisée, des tâches qui contiennent peu ou même pas d'annotations en commun. La pertinence des tâches est introduite dans l'ATM soit explicitement à travers des connaissances préalables d'experts, soit à travers des études guidées par les données.Nous proposons une nouvelle approche de correspondance de distribution, dans laquelle l'échange de connaissances est rendu possible entre les tâches grâce à la correspondance de leurs distributions de prédiction. Sur la base de cette approche, nous avons construit FaceBehaviorNet, le premier cadre pour l'analyse faciale à grande échelle, en apprenant conjointement toutes les tâches liées au comportement facial. Nous développons des études de cas pour : i) l'estimation continue du sentiment affectif, la détection d'unités d'action et la reconnaissance d'émotions basiques ; ii) la détection d'attributs et l'identification faciale.Nous montrons que le co-apprentissage via la pertinence des tâches atténue le transfert négatif. Comme FaceBehaviorNet apprend des caractéristiques qui englobent tous les aspects du comportement facial, nous menons des expériences d'apprentissage à zéro/few-shot pour effectuer des tâches au-delà de celles pour lesquelles il a été formé, telles que la reconnaissance d'émotions composites. En menant une vaste étude expérimentale utilisant 10 bases de données, nous illustrons que notre approche surpasse largement l'état de l'art dans toutes les tâches et dans toutes les bases de données, y compris celles qui n'ont pas été utilisées lors de son entraînement.