HyperAIHyperAI

Command Palette

Search for a command to run...

MARLIN : Autoencodeur masqué pour l'apprentissage de la représentation vidéo faciale

Zhixi Cai Shreya Ghosh Kalin Stefanov Abhinav Dhall Jianfei Cai Hamid Rezatofighi Reza Haffari Munawar Hayat

Résumé

Ce papier propose une approche auto-supervisée pour apprendre des représentations universelles du visage à partir de vidéos, capables de se transférer à diverses tâches d'analyse faciale telles que la reconnaissance d'attributs faciaux (FAR), la reconnaissance d'expressions faciales (FER), la détection de DeepFakes (DFD) et la synchronisation labiale (LS). Notre cadre proposé, nommé MARLIN, est un autoencodeur masqué de vidéos faciales qui apprend des plongements faciaux très robustes et génériques à partir de vidéos faciales non annotées largement disponibles sur le web. En tant que tâche auxiliaire difficile, MARLIN reconstruit les détails spatio-temporels du visage à partir des régions faciales densément masquées, qui comprennent principalement les yeux, le nez, la bouche, les lèvres et la peau, afin de capturer les aspects locaux et globaux qui contribuent ensuite à l'encodage de caractéristiques génériques et transposables. À travers une variété d'expériences sur des tâches en aval diversifiées, nous démontrons que MARLIN est un excellent encodeur de vidéos faciales ainsi qu'un extracteur de caractéristiques, performant constamment bien sur diverses tâches en aval, y compris FAR (gain de 1,13 % par rapport au benchmark supervisé), FER (gain de 2,64 % par rapport au benchmark non supervisé), DFD (gain de 1,86 % par rapport au benchmark non supervisé), LS (gain de 29,36 % pour la distance Fréchet Inception) et même dans un régime à faible quantité de données. Notre code et nos modèles sont disponibles à l'adresse suivante : https://github.com/ControlNet/MARLIN .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp