MegActor génère des vidéos synthétiques vives à partir de contenu vidéo brut

Introduction au tutoriel

Ce tutoriel est une démo de MegActor. Vous pouvez en faire l'expérience en le clonant simplement, en le démarrant et en ouvrant l'adresse API. MegActor est un générateur d'animation de portrait développé par MEGVII Technology qui utilise la vidéo brute comme facteur moteur pour générer des vidéos de tête parlante réalistes et vivantes. Plus précisément, l’équipe de recherche a utilisé deux UNET : l’un qui extrait les caractéristiques d’identité et d’arrière-plan des images sources, et l’autre qui génère et intègre avec précision les caractéristiques de mouvement extraites directement de la vidéo brute. MegActor peut être formé sur des ensembles de données de faible qualité, accessibles au public, et excelle dans les expressions faciales, la diversité des poses, la contrôlabilité subtile et la qualité visuelle.

Cette technologie appartient au domaine de l'animation de portrait sans représentation intermédiaire, qui peut générer directement des vidéos de portrait réalistes et vivantes en utilisant des vidéos brutes comme facteurs moteurs. Le principal avantage de MegActor est qu’il abandonne la forme de représentation intermédiaire dans la production d’animation traditionnelle et utilise plutôt directement des données vidéo brutes pour créer une animation, ce qui améliore considérablement l’efficacité et la qualité de la production d’animation.

Étapes de course

Étape 1 : Configuration des ressources

在该项目右上角点击「克隆」，随后依次点击 “下一步” 即可完成：基本信息> 选择算力> 审核等步骤。最后点击「继续执行」即可在个人容器内开启本项目。

Étape 2 : Démarrage du projet

待资源分配完成后，参照下图中的步骤启动项目。

Étape 3 : Génération de la vidéo

上传图片文件和视频文件进行合成

(Le temps de synthèse est d'environ 3 minutes)

Faites un clic droit sur la vidéo résultante pour l'enregistrer localement

Discussion et échange

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓