Yanzuo Lu Xin Xia Manlin Zhang Huafeng Kuang Jianbin Zheng Yuxi Ren Xuefeng Xiao

Résumé

Les modèles multimodaux unifiés ont récemment suscité un intérêt considérable en raison de leurs capacités remarquables à comprendre et à générer conjointement divers types de contenus. Toutefois, au fur et à mesure que les contextes intègrent un nombre croissant de jetons multimodaux entremêlés, les processus itératifs de débruitage par diffusion et de décodage autoregressif engendrent un surcroît computationnel important. Pour répondre à ce défi, nous proposons Hyper-Bagel, un cadre d’accélération unifié conçu pour accélérer simultanément les tâches de compréhension et de génération multimodales. Notre approche repose sur une stratégie de division et de conquête, combinant une déduction spéculative pour la prédiction du prochain jeton et un processus de distillation multi-étapes pour le débruitage par diffusion. Ce cadre permet d’obtenir des gains de performance significatifs, atteignant un accélération supérieure à 2× dans les tâches de compréhension multimodale. Pour les tâches de génération, notre modèle sans perte à 6 NFE (nombre d’évaluations fonctionnelles) permet une accélération de 16,67× dans la génération d’images à partir de texte et de 22× dans le traitement d’images, tout en préservant la qualité élevée des sorties du modèle original. Nous avons également développé un modèle très efficace à 1 NFE, permettant une édition et une génération quasi en temps réel. En combinant une distillation adversaire avancée avec un apprentissage fondé sur les retours humains, ce modèle atteint une efficacité optimale en coût et en réactivité, rendant les interactions multimodales complexes fluides et instantanées.