Sitzung Zum Austausch Von KI-Compiler-Technologien: Shanghai Jiao Tong University/Institute of Computing Technology, Chinese Academy of Sciences/Microsoft Asia Research/Zhiyuan, Sie Sind Hier!
4 Meetups, 3 Städte, 19 Gäste, über 1.000 Branchenpraktiker, insgesamt über 1 Million Kontakte,Im Jahr 2023 hat die KI-Compiler-Community ihre Präsenz leicht aufgefrischt. Wir haben die vertikalsten Entwickler und Ingenieure in sehr nischenhaften Bereichen gefunden, kleine Stützpunkte von 0 bis 1 aufgebaut, Kommunikationsplattformen erstellt, die interne Zusammenarbeit gefördert und die Upstream- und Downstream-Ebene des Ökosystems miteinander verbunden.
Obwohl das Jahr 2024 bereits zur Hälfte vorbei ist, belegen große Modelle weiterhin die „Hot Search List“ in der Technologiebranche.Wir werden am 6. Juli (Samstag) am Institute of Computing Technology der Chinesischen Akademie der Wissenschaften sein.Das 5. Offline-Treffen des Meet AI Compiler Technology Salon fand statt.
Dieses Treffen ist in zwei Teile gegliedert: Technologieaustausch und Diskussion am runden Tisch. Die Gäste kommen von der Shanghai Jiao Tong University, dem Institute of Computing Technology, der Chinesischen Akademie der Wissenschaften, Microsoft Research Asia und dem Beijing Zhiyuan Artificial Intelligence Research Institute. Wir hoffen, dass das neue Treffen allen neue technische Fortschritte bringen und neue Freunde in der gleichen Branche finden kann~
Veranstaltungsdetails
⏰ Zeit: 6. Juli (Samstag) 13:30-18:00
Ort: Hörsaal, 1. Stock, Institut für Computertechnologie, Chinesische Akademie der Wissenschaften, Nr. 6, Kexueyuan South Road, Bezirk Haidian, Peking
Personenzahl: 200 (Die Plätze vor Ort sind begrenzt, bitte melden Sie sich so früh wie möglich an)
Registrierung: Scannen Sie den untenstehenden QR-Code, um sich zu registrieren
Scannen Sie den QR-Code und geben Sie „AI Compiler“ ein, um der Eventgruppe beizutreten:
Agenda:
Gäste und Tagesordnung
Sitzung 1 Gäste teilen
Thema teilen:MLCEngine: Eine universelle LLM-Bereitstellungs-Engine
Inhaltseinführung: In diesem Beitrag wird MLCEngine vorgestellt, eine LLM-Engine, die universell auf verschiedenen Plattformen eingesetzt werden kann. MLCEngine verfügt nicht nur über LLM-Bereitstellungsfunktionen mit hohem Durchsatz und geringer Latenz auf dem Server, sondern unterstützt auch die nahtlose Bereitstellung der heutigen hochwertigen großen Sprachmodelle in verschiedenen lokalen Umgebungen.
Sehen Sie sich diese Sharing-Sitzung an und erfahren Sie:
1. Designkonzept und Verwendung von MLCEngine
2. Die Bedeutung des universellen Einsatzes
3. Gedanken zur Entwicklung der LLM-Argumentationsmaschine
Thema teilen:ElasticRoom: Multi-Tenant-DNN-Inferenz-Engine durch Co-Design mit ressourcenbeschränkter Kompilierung und starker Prioritätsplanung
Inhalt:GPU-Ressourcenpartitionierungsmechanismen in Laufzeitsoftware werden häufig in Job-Schedulern und Multi-Tenant-Computersystemen verwendet, um die Ressourcennutzung und den Durchsatz zu verbessern. Der vorhandene Mechanismus zur GPU-Ressourcenpartitionierung kann jedoch nicht gleichzeitig die GPU-Ressourcennutzung verbessern und eine geringe Latenz für Echtzeitanforderungen gewährleisten, wenn mit heterogenen DNN-Inferenzanforderungen im Batch-Format zu rechnen ist.Wir schlagen eine innovative Multi-Tenant-DNN-Inferenz-Engine namens ElasticRoom vor, die eine ressourcenbeschränkte Kompilierung auf TVM-Basis erstellt und durch Prioritätsplanung sowohl eine hohe GPU-Auslastung als auch eine geringe Latenz für Echtzeitanforderungen erreicht.
Sehen Sie sich diese Sharing-Sitzung an und erfahren Sie:
1. GPU-Ressourcenverwaltung und Aufgabenplanung
2. Ressourcenbeschränkte Kompilierung basierend auf TVM
Thema teilen:Effizientes Deep-Learning-Kompilierungssystem basierend auf Kachelabstraktion
Inhalt:Mit der rasanten Entwicklung von Deep-Learning-Algorithmen und -Hardware stellt die Branche höhere Anforderungen an eine effiziente und schnelle Modellbereitstellung. Deep-Learning-Compiler stellen eine neue Möglichkeit dar, den rechnerischen Ausdruck eines Modells mit der zugrunde liegenden Hardwareausführung zu verbinden. Es bestehen jedoch noch immer viele Herausforderungen bei der effizienten Unterstützung sich schnell entwickelnder Deep-Learning-Anwendungen auf unterschiedlicher Hardware.In diesem Beitrag stellen wir unsere Reihe von Sondierungsarbeiten im Bereich der Deep-Learning-Kompilierung auf der Grundlage einer einheitlichen Kachelabstraktion vor.
Sehen Sie sich diese Sharing-Sitzung an und erfahren Sie:
1. Deep Learning-Kompilierungsstapel basierend auf Kachelabstraktion
2. So optimieren Sie in Deep-Learning-Anwendungsszenarien die Effizienz des globalen Speicherzugriffs durch Kachelabstraktion
3. Wie Sie in Deep-Learning-Anwendungsszenarien Deep-Learning-Berechnungen mit geringer Genauigkeit durch Kachelabstraktion unterstützen
Thema teilen:FlagGems, eine große Modelloperatorbibliothek basierend auf Triton, ist eine innovative Praxis
Inhaltseinführung: Basierend auf OpenAI Basierend auf der Sprache Triton haben wir eine leistungsstarke allgemeine Operatorbibliothek namens FlagGems entwickelt, um die Argumentation und das Training großer Modelle im PyTorch-Framework zu beschleunigen.Angesichts der Programmiereigenschaften von Triton haben wir zwei technische Neuerungen angewendet: Laufzeitoptimierung und automatische Codegenerierung, die die Ausdruckskraft der Operatoren erweiterten und ihre Leistung verbesserten.
Sehen Sie sich diese Sharing-Sitzung an und erfahren Sie:
1. Erfahren Sie mehr über die Programmiersprache Triton und lernen Sie das Open-Source-Ökosystem von Triton kennen
2. Verstehen Sie die FlagGems-Operatorbibliothek und ihren Entwicklungsfortschritt
3. Verstehen Sie die Laufzeitoptimierungstechnologie und die automatische Codegenerierungstechnologie, die in FlagGems verwendet werden
Sitzung 2: Runder Tisch
Themen des Runden Tisches:Kompilierungsoptimierung auf heterogenen Chips im Transformator-Zeitalter
Veranstalter und Partner
HyperAI ist eine führende Community für künstliche Intelligenz und Hochleistungsrechnen in China.Ziel ist es, Entwicklern und Enthusiasten in der chinesischen Datenwissenschafts- und künstlichen Intelligenzbranche beim Lernen, Verstehen und Üben zu helfen, indem vielfältige Infrastrukturen bereitgestellt werden, wie etwa beschleunigte Datensatzdownloads, Online-Tutorial-Demonstrationen, ausführliche Papierinterpretation und Integration in den Kalender der Top-Konferenzen, und gemeinsam mit der Community die Zukunft der künstlichen Intelligenz aufzubauen. Derzeit hat die offizielle Website von HyperAI Tausende klassischer und hochwertiger öffentlicher Datensätze und Tutorials veröffentlicht und betreibt die aktivste KI-Compiler-Community in China. HyperAI ist zudem alleiniger Veranstalter dieser Veranstaltungsreihe.
Besuchen Sie die offizielle Website:https://hyper.ai/
OpenBayes ist ein führender Anbieter von Hochleistungsrechnerdiensten in China.Durch die Integration klassischer Software-Ökosysteme und Modelle des maschinellen Lernens in die neue Generation heterogener Chips werden Industrieunternehmen und der wissenschaftlichen Forschung an Universitäten schnellere und benutzerfreundlichere Produkte für die Datenwissenschaft bereitgestellt. Seine Produkte werden von Dutzenden großer Industrieszenarien oder führenden wissenschaftlichen Forschungsinstituten übernommen.
Besuchen Sie die offizielle Website:https://openbayes.com/
Die MLC.AI-Community wurde im Juni 2022 gegründet. Chen Tianqi, der Haupterfinder von Apache TVM und ein bekannter junger Wissenschaftler auf dem Gebiet des maschinellen Lernens, leitete das Team bei der Einführung des MLC-Onlinekurses, der systematisch die Schlüsselelemente und Kernkonzepte der Kompilierung maschinellen Lernens vorstellte.
Im November 2022 wurde dank der gemeinsamen Anstrengungen der Freiwilligen der MLC.AI-Community die erste vollständige chinesische TVM-Dokumentation veröffentlicht und erfolgreich auf der offiziellen HyperAI-Website gehostet. Damit werden inländischen Entwicklern, die an der Kompilierung von maschinellem Lernen interessiert sind, die grundlegenden Einstellungen für den Zugriff auf und das Erlernen einer neuen Technologie – der Dokumentation – bereitgestellt.
MLC-Onlinekurse:https://mlc.ai/
Chinesische TVM-Dokumentation:https://tvm.hyper.ai/
Das Institut für Computertechnologie der Chinesischen Akademie der Wissenschaften (ICT) wurde 1956 gegründet und ist die erste akademische Einrichtung in China, die sich der umfassenden Forschung in Informatik und Technologie widmet.Das Institute of Computing Technology hat erfolgreich den ersten universellen digitalen elektronischen Computer meines Landes entwickelt und eine Forschungs- und Entwicklungsbasis für die Hochleistungscomputer meines Landes geschaffen. Auch der erste Allzweck-CPU-Chip meines Landes wurde hier entwickelt.
Das Institute of Computing Technology ist die Wiege der Computerindustrie meines Landes. Im Zuge der Entwicklung des Instituts für Computertechnologie wurden hier Hunderte der ersten Computertechnologie-Experten meines Landes ausgebildet, und mehr als 20 Akademiker haben hier gearbeitet oder studiert. Mit der Entwicklung von Disziplinen und Technologien wurden mehrere Forschungsinstitute wie das Xi'an-Institut für Mikroelektronik, das Rechenzentrum, das Software-Institut, das Netzwerkzentrum, das Mikroelektronik-Institut und das Institut für Informationstechnik vom Institut für Computertechnologie abgespalten und High-Tech-Unternehmen wie Lenovo, Dawn, Loongson und Cambrian gegründet.
Das Technical Committee of HPC (China Computer Federation, abgekürzt CCF TCHPC) wurde 2005 mit Zustimmung der China Computer Federation gegründet. Als professionelles Komitee der China Computer Federation ist es eine maßgebliche Organisation für akademische Forschung im Bereich Hochleistungsrechnen, die akademische Konferenzen im Bereich des Hochleistungsrechnens organisiert und Anwendungsdienste für Industrie und Universitäten bereitstellt.
Basierend auf dem Prinzip und der Mission, „eine akademische Plattform aufzubauen, den industriellen Austausch zu fördern, die Anwendungsimplementierung voranzutreiben, das Software- und Hardware-Ökosystem auszubalancieren, die Branchenentwicklung zu unterstützen und Industrie, Wissenschaft, Forschung und Anwendung zu verbinden“, engagieren wir uns für die Förderung der Forschung und Entwicklung im chinesischen Bereich des Hochleistungsrechnens und den Aufbau einer akademischen und industriellen Kooperations- und Austauschplattform für das Hochleistungsrechnen. Es spielt eine unersetzliche und wichtige Rolle und Bedeutung bei der Unterstützung der wissenschaftlichen und technologischen Entwicklung und Innovation, der Förderung des sozialen Fortschritts und der Steigerung der umfassenden nationalen Stärke und internationalen Wettbewerbsfähigkeit meines Landes.
Im Juni 2011 gründete die Chinesische Akademie der Wissenschaften offiziell die Youth Innovation Promotion Association (im Folgenden „Youth Promotion Association“), eine innovative Initiative der Chinesischen Akademie der Wissenschaften zur umfassenden Ausbildung junger wissenschaftlicher und technologischer Talente unter 35 Jahren an der Akademie. Ziel ist es, durch wirksame Organisation und Unterstützung junge Wissenschaftler und Techniker in der Akademie zu vereinen und zu festigen, ihren akademischen Horizont zu erweitern, gegenseitigen Austausch und interdisziplinäre Studien zu fördern, die Fähigkeit zur Organisation wissenschaftlicher Forschungsaktivitäten zu verbessern und eine neue Generation akademischer und technischer Führungskräfte heranzubilden.
Veranstaltungsbetreuung
Aktive Zeile:Scannen Sie den QR-Code, um zur Veranstaltungsregistrierung zu gelangen
Scannen Sie den QR-Code und geben Sie „2024 AI Compiler“ an, um der Eventgruppe beizutreten
Aufgrund der räumlichen Gegebenheiten dieser Veranstaltung haben wir lediglich 200 Plätze zur Teilnahme freigegeben. Um sich einen Platz zu sichern, empfehlen wir Ihnen, sich möglichst frühzeitig anzumelden.
6. Juli, 13:30–17:40 Uhr, ich freue mich darauf, neue und alte Freunde zu treffen!