La 8e édition de Meet AI Compiler se tiendra à Shanghai le 27 décembre !Dans ce numéro, nous avons invité plusieurs experts de la Shanghai Innovation Academy, de la communauté TileAI, de Huawei HiSilicon, de l'Advanced Compiler Lab et de la communauté AI9Stars à partager leurs connaissances sur l'ensemble de la chaîne technologique, de la conception de la pile logicielle et du développement des opérateurs à l'optimisation des performances. Le contenu aborde l'interopérabilité inter-écosystèmes de TVM, l'optimisation des opérateurs de fusion de PyPTO, les systèmes à faible latence de TileRT, les technologies d'optimisation clés de Triton pour de multiples architectures et l'optimisation des opérateurs d'AutoTriton, présentant ainsi un parcours technique complet, de la théorie à la mise en œuvre.

Les inscriptions sont ouvertes, les places sont limitées ! Rejoignez-nous pour des informations précieuses – nous vous attendons à Shanghai ! 🫶

Détails de l'événement

⏰ Date et heure : 27 décembre (samedi) de 13h30 à 17h30

📍 Lieu : Shanghai Innovation Academy, n° 3, Lane 699, Huafa Road, district de Xuhui, Shanghai

👬 Nombre de participants : 150 (Places limitées, veuillez vous inscrire au plus vite) 

🙌🏻 Inscrivez-vous:https://hdxu.cn/1CupU

Voici l'ordre du jour complet ⬇️

Invités et sujets de discussion

Partage d'invités

13:40-17:20

Partager le sujet:TVM FFI : ABI et FFI ouverts pour les systèmes d’apprentissage automatique

Contenu:TVM FFI vise à résoudre les problèmes de fragmentation des écosystèmes et d'interopérabilité des systèmes d'apprentissage automatique. En définissant des normes ABI et FFI ouvertes, le projet utilise les bibliothèques stables CABI et DLPack pour un transfert de données sans copie, comblant ainsi le fossé entre les frameworks comme PyTorch et les compilateurs sous-jacents. Il prend en charge les appels interlangages efficaces, réduisant considérablement les coûts d'ingénierie liés à l'adaptation multiplateforme.

Regardez cette séance de partage et vous apprendrez :

1. Apprenez la norme universelle TVM-FFI pour réduire considérablement les coûts de développement et de maintenance des systèmes d'apprentissage automatique multilingues.

2. Comprendre et construire un écosystème d'apprentissage automatique modulaire compatible avec l'avenir

Partager le sujet:TileRT : une exploration logicielle et matérielle pour l’inférence de grands modèles à faible latence

Contenu:Alors que les grands modèles atteignent des milliards de paramètres et traitent des séquences de plusieurs millions de jetons, leurs performances battent sans cesse de nouveaux records. Cependant, la quête de la vitesse de calcul ultime pour ces modèles reste un objectif constant. D'une part, de nombreux scénarios à faible latence exigent des réponses en quelques secondes, voire millisecondes, comme la prise de décision en temps réel et la théorie des jeux. D'autre part, avec l'avènement de l'ère des agents pour l'entraînement des grands modèles, le temps de déploiement des séquences extrêmement longues est devenu un goulot d'étranglement majeur.

Ce rapport présente le projet TileRT, explorant comment construire une pile logicielle pour le calcul de modèles à grande échelle avec une latence extrêmement faible, du point de vue des compilateurs d'IA, de l'exécution et de la conception de l'architecture.

Regardez cette séance de partage et vous apprendrez :

1. Comprendre le contexte, l'importance et les perspectives d'avenir des scénarios d'inférence à faible latence pour les grands modèles.

2. Les défis techniques et le partage d'expérience pratique de TileRT

Partager le sujet:PyPTO : un cadre de développement d’opérateurs de fusion basé sur la compilation en boîte blanche.

Contenu:Cette présentation porte sur PyPTO, le nouveau framework de développement d'opérateurs convergents lancé par Huawei. Basé sur le paradigme de programmation Tensor/Tile, il offre un équilibre optimal entre hautes performances et simplicité d'utilisation grâce à des technologies telles que la gestion de la SRAM intégrée, les jeux d'instructions PTO multiplateformes et l'environnement d'exécution MPMD, combinées à un réglage assisté par l'humain et à une compilation en boîte blanche.

Regardez cette séance de partage et vous apprendrez :

1. Maîtriser la philosophie de conception et l'architecture de base de PyPTO, un framework de développement d'opérateurs de fusion conçu nativement pour l'architecture SIMD.

2. Maîtrisez la philosophie de compilation en boîte blanche de PyPTO, qui se concentre sur l'exploitation de l'expérience experte des utilisateurs et sur l'essence de l'optimisation Human-In-The-Loop.

3. Maîtriser le processus complet de développement rapide d'opérateurs de fusion haute performance sur la plateforme Ascend en utilisant les outils de visualisation fournis par PyPTO.

Partager le sujet:Pratiques d'optimisation de la compilation pour le compilateur Triton

Contenu:Cette présentation est consacrée aux pratiques d'optimisation du compilateur Triton. Elle introduit de manière systématique la structure du langage et du compilateur, l'évolution de l'écosystème et les méthodes de développement de la bibliothèque d'opérateurs. Elle explore également les principales techniques d'optimisation pour différentes architectures, notamment CPU, NPU et GPU, et illustre le processus complet de conception d'un système d'opérateurs unifié haute performance.

Regardez cette séance de partage et vous apprendrez :

1. Derniers développements dans l'écosystème Triton

2. Techniques d'optimisation clés du compilateur Triton sur plusieurs architectures (CPU/NPU/GPU)

Partager le sujet:AutoTriton : Exploration des techniques d’optimisation de l’opérateur Triton pour les grands modèles pilotés par l’apprentissage par renforcement

Contenu:La conception de noyaux performants à l'aide de langages comme CUDA relève du domaine des ingénieurs en performance. L'avènement de frameworks de programmation tels que Triton a considérablement amélioré la programmabilité des noyaux. Toutefois, les développeurs doivent encore configurer manuellement certains paramètres clés, ce qui limite la portabilité des performances et leur application à grande échelle. Ce rapport présente notre exploration de benchmarks et de modèles pour la génération d'opérateurs à grande échelle et examine l'énorme potentiel des grands modèles pour l'optimisation des opérateurs.

Regardez cette séance de partage et vous apprendrez :

1. Travaux pertinents et progrès récents en matière d'optimisation des opérateurs pour les grands modèles

2. Technologies clés des grands modèles dans l'optimisation des opérateurs

Organisateurs et partenaires

HyperAI (hyper.ai) est une communauté internationale de premier plan en matière d'intelligence artificielle et de calcul haute performance.Son objectif est d'aider les développeurs et les passionnés de l'industrie mondiale de la science des données et de l'intelligence artificielle à apprendre, comprendre et pratiquer en fournissant une série de services tels que des rapports d'information sur l'industrie, des téléchargements accélérés d'ensembles de données, des démonstrations de didacticiels en ligne, des évaluations de performances de modèles populaires, des recommandations de documents de pointe, des interprétations de résultats de grande valeur et une intégration du calendrier des conférences de premier plan, et de construire l'avenir de l'intelligence artificielle avec la communauté.

Visitez le site officiel :https://hyper.ai/

OpenBayes Bayesian Computing est un fournisseur leader de services de calcul haute performance en ChineEn greffant des écosystèmes logiciels classiques et des modèles d’apprentissage automatique sur des puces hétérogènes de nouvelle génération, il fournit aux entreprises industrielles et à la recherche scientifique universitaire des produits de calcul de science des données plus rapides et plus faciles à utiliser. Ses produits ont été adoptés par des dizaines de grands scénarios industriels ou d’instituts de recherche scientifique de premier plan.

Visitez le site officiel :https://openbayes.com/

La communauté MLC.AI a été créée en juin 2022. Chen Tianqi, le principal inventeur d'Apache TVM et un jeune chercheur bien connu dans le domaine de l'apprentissage automatique, a dirigé l'équipe pour lancer le cours en ligne MLC, qui a systématiquement présenté les éléments clés et les concepts de base de la compilation de l'apprentissage automatique.

En novembre 2022, grâce aux efforts conjoints des bénévoles de la communauté MLC.AI, la première documentation chinoise complète de TVM a été lancée et hébergée avec succès sur le site Web officiel d'HyperAI, fournissant ainsi aux développeurs nationaux intéressés par la compilation d'apprentissage automatique les paramètres de base pour accéder et apprendre une nouvelle technologie - la documentation.

Cours en ligne MLC :https://mlc.ai/

Documentation chinoise de TVM :https://tvm.hyper.ai/

L'Académie d'innovation de Shanghai est un établissement de formation de talents d'un nouveau genre, fruit d'une collaboration entre universités prestigieuses, entreprises de premier plan et instituts de recherche. Fidèle à sa philosophie de formation axée sur l'étudiant et la recherche de pointe, l'académie propose un programme de formation unique en Chine pour les futurs leaders de l'IA, grâce à un corps professoral d'exception, des méthodes pédagogiques innovantes et un environnement d'accompagnement optimal. Elle a pour ambition de former les plus grands talents en IA en Chine et de bâtir un pôle d'innovation de renommée mondiale dans ce domaine.

Soutien aux événements

Compte tenu de la capacité limitée de la salle, seules 150 places sont disponibles. Nous vous recommandons de vous inscrire au plus vite afin de garantir votre place.

Rendez-vous le 27 décembre de 13h30 à 17h30 !