Revue De L'événement | L'Université Jiaotong De Shanghai/Institut De Technologie Informatique, L'académie Chinoise Des Sciences/microsoft Asia Research/Zhiyuan Ont Partagé Des Informations Pratiques Et Le 5e Salon Meet AI Compiler Technology S'est Terminé Avec Succès.
Pour cet événement, nous avons eu la chance d'inviter plusieurs experts en compilateurs d'IA de l'Université Jiao Tong de Shanghai, de l'Institut de technologie informatique de l'Académie chinoise des sciences, de Microsoft Research Asia et de l'Académie d'intelligence artificielle de Pékin. Ils ont non seulement apporté les derniers résultats de recherche, mais ont également combiné des pratiques d'application riches pour fournir un partage technique approfondi et facile à comprendre pour les centaines de participants présents.
Bien que la météo ait été très chaude le jour de l’événement, l’enthousiasme des participants n’a pas été diminué du tout. L'atmosphère de la discussion sur place était très animée, ce qui a inspiré tout le monde à réfléchir plus profondément à la technologie du compilateur d'IA. En tant que communauté ouverte et inclusive, HyperAI est très heureuse de rassembler tout le monde et de fournir une plate-forme d'échange académique de haute qualité pour promouvoir le développement de la technologie des compilateurs d'IA.
Nous invitons davantage d'amis à rejoindre notre famille de compilateurs d'IA et à explorer avec nous les possibilités infinies de la technologie des compilateurs d'IA !
Examen du contenu de l'événement
Voici une brève introduction à l’événement et une critique vidéo de l’événement.
Partager le sujet:MLCEngine : un moteur de déploiement LLM universel
Contenu:Ce partage présentera MLCEngine, un moteur LLM qui peut être déployé universellement sur différentes plateformes. MLCEngine dispose non seulement de capacités de service LLM à haut débit et à faible latence sur le serveur, mais prend également en charge le déploiement transparent des modèles linguistiques volumineux de haute qualité d'aujourd'hui dans divers environnements locaux.
Partager la vidéo :
Partager le sujet:ElasticRoom : moteur d'inférence DNN multi-locataire via co-conception avec compilation à ressources limitées et planification prioritaire renforcée
Contenu:Les mécanismes de partitionnement des ressources GPU dans les logiciels d'exécution ont été largement utilisés dans les planificateurs de tâches et les systèmes informatiques multi-locataires pour améliorer l'utilisation des ressources et le débit. Cependant, le mécanisme de partitionnement des ressources GPU existant ne peut pas simultanément améliorer l'utilisation des ressources GPU et garantir une faible latence pour les requêtes en temps réel face à des requêtes d'inférence DNN hétérogènes par lots.Nous proposons un moteur d'inférence DNN multi-locataire innovant, ElasticRoom, qui construit une compilation à ressources limitées basée sur TVM et permet à la fois une utilisation élevée du GPU et une faible latence pour les requêtes en temps réel grâce à la planification prioritaire.
Partager la vidéo :
Partager le sujet:FlagGems, une bibliothèque d'opérateurs de grands modèles basée sur Triton, une pratique innovante
Contenu:Sur la base du langage Triton d'OpenAI, nous avons développé une bibliothèque d'opérateurs généraux hautes performances FlagGems pour fournir une accélération du raisonnement et de la formation pour les grands modèles sous le framework PyTorch. Compte tenu des caractéristiques de programmation de Triton, nous avons appliqué deux innovations techniques : l'optimisation de l'exécution et la génération automatique de code, qui ont élargi la puissance expressive des opérateurs et amélioré leurs performances.
Partager la vidéo :
Compilateur d'IA 2024 · Prochainement
Le 6e salon technique Meet AI Compiler 2024 devrait se tenir à Shanghai à la fin de l'année. Nous invitons sincèrement toutes les entreprises et partenaires communautaires à participer à la co-création sous diverses formes. Qu'il s'agisse de recommander des conférenciers ou de sponsoriser des lieux et des pauses thé, nous les accueillons tous.
Travaillons ensemble pour créer la communauté de compilateurs d’IA la plus active en Chine ! Enfin, laissez-moi partager une photo de groupe de la scène❤️
Organisateurs et partenaires
HyperAI est une communauté leader en matière d'intelligence artificielle et de calcul haute performance en Chine.Son objectif est d'aider les développeurs et les passionnés de l'industrie chinoise de la science des données et de l'intelligence artificielle à apprendre, comprendre et pratiquer en fournissant une variété d'infrastructures telles que des téléchargements accélérés d'ensembles de données, des démonstrations de tutoriels en ligne, une interprétation approfondie des articles et une intégration du calendrier des conférences de haut niveau, et de construire l'avenir de l'intelligence artificielle avec la communauté. Actuellement, le site Web officiel de SuperNeural a lancé des milliers d'ensembles de données et de tutoriels publics classiques et de haute qualité, et gère la communauté de compilateurs d'IA la plus active en Chine.
Visitez le site officiel :https://hyper.ai/
OpenBayes Bayesian Computing est un fournisseur leader de services de calcul haute performance en ChineEn greffant des écosystèmes logiciels classiques et des modèles d’apprentissage automatique sur des puces hétérogènes de nouvelle génération, il fournit aux entreprises industrielles et à la recherche scientifique universitaire des produits de calcul de science des données plus rapides et plus faciles à utiliser. Ses produits ont été adoptés par des dizaines de grands scénarios industriels ou d’instituts de recherche scientifique de premier plan.
Visitez le site officiel :https://openbayes.com/
La communauté MLC.AI a été créée en juin 2022. Chen Tianqi, le principal inventeur d'Apache TVM et un jeune chercheur bien connu dans le domaine de l'apprentissage automatique, a dirigé l'équipe pour lancer le cours en ligne MLC, qui a systématiquement présenté les éléments clés et les concepts de base de la compilation de l'apprentissage automatique.
En novembre 2022, grâce aux efforts conjoints des bénévoles de la communauté MLC.AI, la première documentation chinoise complète de TVM a été lancée et hébergée avec succès sur le site Web officiel d'HyperAI, fournissant ainsi aux développeurs nationaux intéressés par la compilation d'apprentissage automatique les paramètres de base pour accéder et apprendre une nouvelle technologie - la documentation.
Cours en ligne MLC :https://mlc.ai/
Documentation chinoise de TVM :https://tvm.hyper.ai/
L'Institut de technologie informatique de l'Académie chinoise des sciences (ICT) a été fondé en 1956 et est la première institution universitaire en Chine dédiée à la recherche complète en informatique et en technologie.L'Institut de technologie informatique a développé avec succès le premier ordinateur électronique numérique à usage général de mon pays et a constitué une base de recherche et développement pour les ordinateurs hautes performances de mon pays. La première puce CPU à usage général de mon pays est également née ici.
L'Institut de technologie informatique est le berceau de l'industrie informatique de mon pays. Parallèlement au développement de l'Institut de technologie informatique, des centaines de professionnels de la technologie informatique parmi les plus anciens de mon pays ont été formés et plus de 20 universitaires ont travaillé ou étudié ici. Avec le développement des disciplines et des technologies, plusieurs instituts de recherche tels que l'Institut de microélectronique de Xi'an, le Centre de calcul, l'Institut de logiciel, le Centre de réseau, l'Institut de microélectronique et l'Institut d'ingénierie de l'information ont été séparés de l'Institut de technologie informatique, et des entreprises de haute technologie telles que Lenovo, Dawn, Loongson et Cambrian ont été incubées.
Le Comité technique de HPC (China Computer Federation, en abrégé CCF TCHPC) a été créé en 2005 avec l'approbation de la China Computer Federation. En tant que comité professionnel de la Fédération chinoise de l'informatique, il s'agit d'une organisation faisant autorité pour la recherche universitaire sur le calcul haute performance, organisant des conférences universitaires dans le domaine du calcul haute performance et fournissant des services d'application industrie-université.
Sur la base du principe et de la mission de « construire une plate-forme académique, promouvoir les échanges industriels, faire progresser la mise en œuvre des applications, équilibrer l'écosystème logiciel et matériel, servir le développement de l'industrie et connecter l'industrie, le monde universitaire, la recherche et l'application », nous nous engageons à promouvoir la recherche et le développement du domaine du calcul haute performance en Chine et à construire une plate-forme de coopération et d'échange académique et industrielle en matière de calcul haute performance. Il joue un rôle irremplaçable et important dans le soutien au développement scientifique et technologique et à l’innovation, dans la promotion du progrès social et dans le renforcement de la force nationale globale et de la compétitivité internationale de mon pays.
Obtenez le PPT :Suivez le compte public WeChat « HyperAI Super Neuro », répondez au mot-clé « AI Compiler Beijing » en arrière-plan et obtenez le PPT complet de l'invité.