Apprentissage hiérarchique de caractéristiques adaptées au domaine pour la prédiction de la salience vidéo

Dans cette étude, nous proposons une architecture entièrement convolutive en 3D pour la prédiction de la salience vidéo, qui utilise une supervision hiérarchique sur les cartes intermédiaires (appelées cartes de conspicuité) générées à partir de caractéristiques extraites à différents niveaux d'abstraction. Nous fournissons le mécanisme d'apprentissage hiérarchique de base avec deux techniques pour l'adaptation de domaine et l'apprentissage spécifique à un domaine. Pour l'adaptation de domaine, nous encourageons le modèle à apprendre des caractéristiques générales hiérarchiques de manière non supervisée en utilisant l'inversion du gradient à plusieurs échelles, afin d'améliorer les capacités de généralisation sur des ensembles de données pour lesquels aucune annotation n'est fournie lors de l'entraînement. En ce qui concerne la spécialisation du domaine, nous utilisons des opérations spécifiques au domaine (notamment des a priori, du lissage et de la normalisation par lots) en spécialisant les caractéristiques apprises sur chaque ensemble de données afin d'optimiser les performances. Les résultats de nos expériences montrent que le modèle proposé atteint une précision d'état de l'art dans la prédiction supervisée de la salience. Lorsque le modèle hiérarchique de base est doté de modules spécifiques au domaine, les performances s'améliorent, surpassant les modèles d'état de l'art sur trois des cinq métriques du benchmark DHF1K et obtenant les deuxième meilleurs résultats sur les deux autres. Lorsque, par contre, nous le testons dans un cadre d'adaptation non supervisée de domaine en activant les couches d'inversion du gradient hiérarchique, nous obtenons des performances comparables à celles des modèles supervisés d'état de l'art.