Yujun Lin Zhekai Zhang Song Han

Résumé

Les applications tensorielles modernes, en particulier les modèles fondamentaux et les applications d’intelligence artificielle générative, nécessitent plusieurs modalités d’entrée (à la fois visuelles et linguistiques), ce qui accroît la demande en architectures d’accélérateurs flexibles. Les cadres existants souffrent d’un compromis entre la flexibilité du design et la productivité de la génération de code RTL : soit ils sont limités à un nombre très restreint de modèles manuellement écrits, soit ils ne peuvent pas générer automatiquement le RTL. Pour relever ce défi, nous proposons le cadre LEGO, spécifiquement conçu pour les applications tensorielles et capable de générer automatiquement une architecture spatiale et de produire du code RTL synthétisable, sans recourir à des modèles de RTL manuellement écrits. Grâce à une représentation d’architecture fondée sur des transformations affines, le composant frontal de LEGO établit les interconnexions entre unités fonctionnelles, synthétise le système mémoire et fusionne différentes stratégies de flux de données spatiales, en se basant sur une analyse de réutilisation des données. Le composant arrière de LEGO traduit ensuite l’architecture sous forme de graphe au niveau des primitives afin d’effectuer des optimisations de bas niveau, et applique une série d’algorithmes de programmation linéaire pour insérer de manière optimale des registres de pipeline et réduire le surcoût lié aux logiques inutilisées lors du passage d’un flux de données spatial à un autre. Nos évaluations montrent que LEGO permet d’obtenir un gain de vitesse de 3,2× et une efficacité énergétique améliorée de 2,4× par rapport à l’état de l’art antérieur (Gemmini), tout en étant capable de générer une seule architecture adaptée à divers modèles fondamentaux modernes utilisés dans les applications d’intelligence artificielle générative.