Jinheng Xie Zhenheng Yang Mike Zheng Shou

Résumé

Ce document présente des modèles multimodaux unifiés améliorés, à savoir Show-o2, qui exploitent la modélisation autorégressive et l'appariement de flux. Construits sur un espace d'autoencodeur variationnel causal en 3D, des représentations visuelles unifiées sont générées par le biais d'un double chemin de fusion spatiale (et temporelle), permettant une évolutivité à travers les modalités d'images et de vidéos tout en assurant une compréhension et une génération multimodales efficaces. Basés sur un modèle linguistique, la modélisation autorégressive et l'appariement de flux sont appliqués nativement respectivement à la tête linguistique et à la tête de flux, facilitant ainsi la prédiction des jetons textuels et la génération d'images/vidéos. Une recette d'entraînement en deux étapes est conçue pour apprendre efficacement et évoluer vers des modèles plus grands. Les modèles Show-o2 résultants démontrent une polyvalence dans la gestion d'une large gamme de tâches de compréhension et de génération multimodales à travers diverses modalités, y compris le texte, les images et les vidéos. Le code source et les modèles sont disponibles à cette adresse : [this https URL].