HyperAIHyperAI

Command Palette

Search for a command to run...

Supervision par enregistrement : Une approche non supervisée pour améliorer la précision des détecteurs de points caractéristiques faciaux

Xuanyi Dong; Shoou-I Yu; Xinshuo Weng; Shih-En Wei; Yi Yang; Yaser Sheikh

Résumé

Dans cet article, nous présentons la supervision par enregistrement, une approche non supervisée visant à améliorer la précision des détecteurs de points d'intérêt faciaux sur les images et les vidéos. Notre observation clé est que les détections du même point d'intérêt dans des cadres adjacents doivent être cohérentes avec l'enregistrement, c'est-à-dire le flot optique. De manière intéressante, la cohérence du flot optique est une source de supervision qui ne nécessite pas d'étiquetage manuel et peut être exploitée lors de l'entraînement du détecteur. Par exemple, nous pouvons imposer dans la fonction de perte d'entraînement qu'un point d'intérêt détecté au cadret1{t-1}t1 suivi par un suivi de flot optique du cadret1{t-1}t1 au cadret_tt doit coïncider avec l'emplacement de la détection au cadret_tt. En substance, la supervision par enregistrement enrichit la fonction de perte d'entraînement avec une perte d'enregistrement, entraînant ainsi le détecteur à produire des résultats non seulement proches des annotations dans les images étiquetées, mais également cohérents avec l'enregistrement sur de grandes quantités de vidéos non étiquetées. L'entraînement end-to-end avec la perte d'enregistrement est rendu possible grâce à une opération différentiable de Lucas-Kanade, qui calcule l'enregistrement du flot optique lors du passage avant et rétropropage les gradients encourageant la cohérence temporelle dans le détecteur. La sortie de notre méthode est un détecteur plus précis de points d'intérêt faciaux basé sur les images, qui peut être appliqué aux images individuelles ou aux vidéos. Avec la supervision par enregistrement, nous démontrons (1) des améliorations dans la détection des points d'intérêt faciaux tant sur les images (300W, ALFW) que sur les vidéos (300VW, Youtube-Celebrities), et (2) une réduction significative du brouillage dans les détections vidéo.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp