HyperAIHyperAI

Command Palette

Search for a command to run...

∇NABLA : Attention Adaptative par Bloc aux Voisinages

Dmitrii Mikhailov Aleksey Letunovskiy Maria Kovaleva Vladimir Arkhipkin Vladimir Korviakov Vladimir Polovnikov Viacheslav Vasilev Evelina Sidorova Denis Dimitrov

Résumé

Les progrès récents dans les architectures basées sur les transformeurs ont montré un succès remarquable dans les tâches de génération vidéo. Cependant, la complexité quadratique des mécanismes d'attention pleine reste un goulot d'étranglement critique, notamment pour les séquences vidéo à haute résolution et de longue durée. Dans cet article, nous proposons NABLA, un mécanisme d'attention à niveau de blocs adaptatif au voisinage, qui s'adapte dynamiquement aux motifs de sparsité dans les transformeurs de diffusion vidéo (DiTs). En exploitant l'attention par blocs avec un seuil piloté par la sparsité, NABLA réduit la charge de calcul tout en préservant la qualité de génération. Notre méthode ne nécessite pas de conception d'opérateurs de bas niveau personnalisés et peut être intégrée de manière transparente avec l'opérateur d'attention Flex de PyTorch. Les expériences montrent que NABLA permet d'accélérer l'entraînement et l'inférence jusqu'à 2,7 fois par rapport à la base, presque sans compromettre les métriques quantitatives (score CLIP, score VBench, score d'évaluation humaine) et sans perte de qualité visuelle. Le code et les poids du modèle sont disponibles ici : https://github.com/gen-ai-team/Wan2.1-NABLA


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
∇NABLA : Attention Adaptative par Bloc aux Voisinages | Articles | HyperAI