La complémentarité d'une diversité de caractéristiques d'apprentissage profond extraites à partir du contenu vidéo pour la recommandation vidéo

À la suite de la popularisation du streaming médiatique, un grand nombre de services de diffusion vidéo achètent continuellement de nouveaux contenus vidéo afin d’exploiter leur potentiel de rentabilité. En conséquence, les contenus nouvellement ajoutés doivent être traités efficacement pour être recommandés aux utilisateurs appropriés. Dans cet article, nous abordons le problème du « cold-start » pour les nouveaux articles en explorant le potentiel de diverses caractéristiques issues de l’apprentissage profond afin d’améliorer la recommandation vidéo. Les caractéristiques d’apprentissage profond étudiées comprennent celles qui captent l’information visuelle (apparence), auditive et cinématique (mouvement) provenant des contenus vidéo. Nous examinons également différentes méthodes de fusion pour évaluer la manière dont ces modalités de caractéristiques peuvent être combinées de façon optimale afin d’exploiter pleinement les informations complémentaires qu’elles contiennent. Des expérimentations menées sur un jeu de données réel de vidéos pour la recommandation de films montrent que les caractéristiques issues de l’apprentissage profond surpassent les caractéristiques conçues manuellement. En particulier, les recommandations basées sur les caractéristiques audio issues de l’apprentissage profond et les caractéristiques d’apprentissage profond centrées sur les actions s’avèrent supérieures aux caractéristiques MFCC et aux caractéristiques iDT de pointe. En outre, la combinaison de diverses caractéristiques issues de l’apprentissage profond avec des caractéristiques manuelles et des métadonnées textuelles conduit à une amélioration significative des recommandations par rapport à une combinaison uniquement des caractéristiques issues de l’apprentissage profond.