Veranstaltungsrückblick | Shanghai Jiaotong University/Institute of Computing Technology, Chinese Academy of Sciences/Microsoft Asia Research/Zhiyuan Tauschten Praktische Informationen Aus Und Der 5. Meet AI Compiler Technology Salon Endete Erfolgreich
Zu dieser Veranstaltung hatten wir das Glück, mehrere KI-Compiler-Experten von der Shanghai Jiao Tong University, dem Institute of Computing Technology der Chinesischen Akademie der Wissenschaften, Microsoft Research Asia und der Beijing Academy of Artificial Intelligence einladen zu können. Sie brachten nicht nur die neuesten Forschungsergebnisse mit, sondern kombinierten auch umfangreiche Anwendungspraktiken, um den Hunderten anwesenden Teilnehmern einen umfassenden und leicht verständlichen technischen Austausch zu ermöglichen.
Obwohl am Veranstaltungstag sehr heißes Wetter herrschte, tat dies der Begeisterung der Teilnehmer keinen Abbruch. Die Atmosphäre der Diskussion vor Ort war sehr lebhaft, was alle dazu inspirierte, tiefer über die KI-Compiler-Technologie nachzudenken. Als offene und integrative Community freut sich HyperAI sehr, alle zusammenzubringen und eine hochwertige akademische Austauschplattform bereitzustellen, um die Entwicklung der KI-Compiler-Technologie voranzutreiben.
Wir heißen weitere Freunde willkommen, sich unserer AI-Compiler-Familie anzuschließen und mit uns die unendlichen Möglichkeiten der AI-Compiler-Technologie zu erkunden!
Überprüfung der Veranstaltungsinhalte
Es folgt eine kurze Einführung in die Veranstaltung und ein Videorückblick auf die Veranstaltung.
Thema teilen:MLCEngine: Eine universelle LLM-Bereitstellungs-Engine
Inhalt:Mit diesem Austausch wird MLCEngine vorgestellt, eine LLM-Engine, die universell auf verschiedenen Plattformen eingesetzt werden kann. MLCEngine verfügt nicht nur über LLM-Bereitstellungsfunktionen mit hohem Durchsatz und geringer Latenz auf dem Server, sondern unterstützt auch die nahtlose Bereitstellung der heutigen hochwertigen großen Sprachmodelle in verschiedenen lokalen Umgebungen.
Video teilen:
Thema teilen:ElasticRoom: Multi-Tenant-DNN-Inferenz-Engine durch Co-Design mit ressourcenbeschränkter Kompilierung und starker Prioritätsplanung
Inhalt:GPU-Ressourcenpartitionierungsmechanismen in Laufzeitsoftware werden häufig in Job-Schedulern und Multi-Tenant-Computersystemen verwendet, um die Ressourcennutzung und den Durchsatz zu verbessern. Der vorhandene Mechanismus zur GPU-Ressourcenpartitionierung kann jedoch nicht gleichzeitig die GPU-Ressourcennutzung verbessern und eine geringe Latenz für Echtzeitanforderungen gewährleisten, wenn mit heterogenen DNN-Inferenzanforderungen im Batch-Format zu rechnen ist.Wir schlagen eine innovative Multi-Tenant-DNN-Inferenz-Engine namens ElasticRoom vor, die eine ressourcenbeschränkte Kompilierung auf TVM-Basis erstellt und durch Prioritätsplanung sowohl eine hohe GPU-Auslastung als auch eine geringe Latenz für Echtzeitanforderungen erreicht.
Video teilen:
Thema teilen:FlagGems, eine große Modelloperatorbibliothek basierend auf Triton, ist eine innovative Praxis
Inhalt:Basierend auf der Triton-Sprache von OpenAI haben wir eine leistungsstarke allgemeine Operatorbibliothek namens FlagGems entwickelt, um die Argumentation und das Training großer Modelle im PyTorch-Framework zu beschleunigen. Angesichts der Programmiereigenschaften von Triton haben wir zwei technische Neuerungen angewendet: Laufzeitoptimierung und automatische Codegenerierung, die die Ausdruckskraft der Operatoren erweiterten und ihre Leistung verbesserten.
Video teilen:
2024 AI Compiler · Demnächst verfügbar
Der 6. Meet AI Compiler Technical Salon 2024 wird voraussichtlich Ende des Jahres in Shanghai stattfinden. Wir laden alle Unternehmen und Community-Partner herzlich ein, sich in verschiedenen Formen an der gemeinsamen Gestaltung zu beteiligen. Ob es um die Empfehlung von Dozenten oder die Förderung von Veranstaltungsorten und Teepausen geht, alles ist uns willkommen.
Lassen Sie uns gemeinsam daran arbeiten, die aktivste KI-Compiler-Community in China aufzubauen! Zum Schluss möchte ich noch ein Gruppenfoto von der Szene teilen❤️
Veranstalter und Partner
HyperAI ist eine führende Community für künstliche Intelligenz und Hochleistungsrechnen in China.Ziel ist es, Entwicklern und Enthusiasten in der chinesischen Datenwissenschafts- und künstlichen Intelligenzbranche beim Lernen, Verstehen und Üben zu helfen, indem vielfältige Infrastrukturen bereitgestellt werden, wie etwa beschleunigte Downloads von Datensätzen, Online-Tutorial-Demonstrationen, ausführliche Papierinterpretation und Integration in den Kalender von Top-Konferenzen, und gemeinsam mit der Community die Zukunft der künstlichen Intelligenz aufzubauen. Derzeit hat die offizielle Website von SuperNeural Tausende klassischer und hochwertiger öffentlicher Datensätze und Tutorials veröffentlicht und betreibt die aktivste KI-Compiler-Community in China.
Besuchen Sie die offizielle Website:https://hyper.ai/
OpenBayes Bayesian Computing ist ein führender Anbieter von Hochleistungs-Computing-Diensten in ChinaDurch die Integration klassischer Software-Ökosysteme und Modelle des maschinellen Lernens in heterogene Chips der neuen Generation werden Industrieunternehmen und der wissenschaftlichen Forschung an Universitäten schnellere und benutzerfreundlichere Produkte für die Datenwissenschaft bereitgestellt. Seine Produkte werden von Dutzenden großer Industrieszenarien oder führenden wissenschaftlichen Forschungsinstituten übernommen.
Besuchen Sie die offizielle Website:https://openbayes.com/
Die MLC.AI-Community wurde im Juni 2022 gegründet. Chen Tianqi, der Haupterfinder von Apache TVM und ein bekannter junger Wissenschaftler auf dem Gebiet des maschinellen Lernens, leitete das Team bei der Einführung des MLC-Onlinekurses, der systematisch die Schlüsselelemente und Kernkonzepte der Kompilierung maschinellen Lernens vorstellte.
Im November 2022 wurde dank der gemeinsamen Anstrengungen der Freiwilligen der MLC.AI-Community die erste vollständige chinesische TVM-Dokumentation veröffentlicht und erfolgreich auf der offiziellen HyperAI-Website gehostet. Damit werden inländischen Entwicklern, die an der Kompilierung von maschinellem Lernen interessiert sind, die grundlegenden Einstellungen für den Zugriff auf und das Erlernen einer neuen Technologie – der Dokumentation – bereitgestellt.
MLC-Onlinekurse:https://mlc.ai/
Chinesische TVM-Dokumentation:https://tvm.hyper.ai/
Das Institut für Computertechnologie der Chinesischen Akademie der Wissenschaften (ICT) wurde 1956 gegründet und ist die erste akademische Einrichtung in China, die sich der umfassenden Forschung in Informatik und Technologie widmet.Das Institute of Computing Technology hat erfolgreich den ersten universellen digitalen elektronischen Computer meines Landes entwickelt und eine Forschungs- und Entwicklungsbasis für die Hochleistungscomputer meines Landes geschaffen. Auch der erste Allzweck-CPU-Chip meines Landes wurde hier entwickelt.
Das Institute of Computing Technology ist die Wiege der Computerindustrie meines Landes. Im Zuge der Entwicklung des Instituts für Computertechnologie wurden hier Hunderte der ersten Computertechnologie-Experten meines Landes ausgebildet, und mehr als 20 Akademiker haben hier gearbeitet oder studiert. Mit der Entwicklung von Disziplinen und Technologien wurden mehrere Forschungsinstitute wie das Xi'an-Institut für Mikroelektronik, das Rechenzentrum, das Software-Institut, das Netzwerkzentrum, das Mikroelektronik-Institut und das Institut für Informationstechnik vom Institut für Computertechnologie abgespalten und High-Tech-Unternehmen wie Lenovo, Dawn, Loongson und Cambrian gegründet.
Das Technical Committee of HPC (China Computer Federation, abgekürzt CCF TCHPC) wurde 2005 mit Zustimmung der China Computer Federation gegründet. Als professionelles Komitee der China Computer Federation ist es eine maßgebliche Organisation für akademische Forschung im Bereich Hochleistungsrechnen, die akademische Konferenzen im Bereich des Hochleistungsrechnens organisiert und Anwendungsdienste für Industrie und Universitäten bereitstellt.
Basierend auf dem Prinzip und der Mission, „eine akademische Plattform aufzubauen, den industriellen Austausch zu fördern, die Anwendungsimplementierung voranzutreiben, das Software- und Hardware-Ökosystem auszubalancieren, die Branchenentwicklung zu unterstützen und Industrie, Wissenschaft, Forschung und Anwendung zu verbinden“, engagieren wir uns für die Förderung der Forschung und Entwicklung im chinesischen Bereich des Hochleistungsrechnens und den Aufbau einer akademischen und industriellen Kooperations- und Austauschplattform für das Hochleistungsrechnen. Es spielt eine unersetzliche und wichtige Rolle und Bedeutung bei der Unterstützung der wissenschaftlichen und technologischen Entwicklung und Innovation, der Förderung des sozialen Fortschritts und der Steigerung der umfassenden nationalen Stärke und internationalen Wettbewerbsfähigkeit meines Landes.
Holen Sie sich die PPT:Folgen Sie dem öffentlichen WeChat-Konto „HyperAI Super Neuro“, antworten Sie im Hintergrund auf das Schlüsselwort „AI Compiler Beijing“ und erhalten Sie die vollständige PPT des Gastes.