HyperAIHyperAI
il y a 2 mois

DisCoRD : Passage de jetons discrets à un mouvement continu via le flux rectifié Décodage

Jungbin Cho, Junwan Kim, Jisoo Kim, Minseo Kim, Mingu Kang, Sungeun Hong, Tae-Hyun Oh, Youngjae Yu
DisCoRD : Passage de jetons discrets à un mouvement continu via le flux rectifié
  Décodage
Résumé

Le mouvement humain, intrinsèquement continu et dynamique, présente des défis significatifs pour les modèles génératifs. Malgré leur prédominance, les méthodes de quantification discrète, telles que les VQ-VAE (Vector Quantized Variational Autoencoders), souffrent de limitations inhérentes, notamment une expressivité limitée et des artefacts de bruit par trame. Les approches continues, bien qu'elles produisent des mouvements plus fluides et naturels, échouent souvent en raison de la complexité à haute dimension et d'une quantité limitée de données d'entraînement. Pour résoudre cette "discordance" entre les représentations discrètes et continues, nous introduisons DisCoRD : Décodage de Tokens Discrets en Mouvement Continu via un Flot Rectifié (Discrete Tokens to Continuous Motion via Rectified Flow Decoding). Cette méthode novatrice décode des tokens de mouvement discrets en mouvement continu grâce à un flot rectifié. En utilisant un processus d'affinement itératif dans l'espace continu, DisCoRD capture des dynamiques à grain fin et garantit des mouvements plus fluides et naturels. Compatible avec tout cadre basé sur la discrétisation, notre méthode améliore la naturalité sans compromettre la fidélité aux signaux conditionnels. Des évaluations approfondies montrent que DisCoRD atteint des performances de pointe, avec un FID (Fréchet Inception Distance) de 0,032 sur HumanML3D et de 0,169 sur KIT-ML. Ces résultats confirment DisCoRD comme une solution robuste pour combler le fossé entre l'efficacité discrète et le réalisme continu. Notre page du projet est disponible à l'adresse suivante : https://whwjdqls.github.io/discord.github.io/.

DisCoRD : Passage de jetons discrets à un mouvement continu via le flux rectifié Décodage | Articles de recherche récents | HyperAI