Das französische KI-Startup ZML hat mit ZML/LLMD einen neuen Inference-Server veröffentlicht, der darauf abzielt, die Abhängigkeit von einzelnen Hardwareanbietern zu durchbrechen. Unterstützt von Turing-Preisträger Yann LeCun und unter der Leitung von Gründer Steeve Morin, erlaubt die Software den Einsatz verschiedener Open-Source-Large-Language-Models auf einer breiten Palette von Prozessoren. Dazu zählen Chips von Nvidia, AMD, Intel Arc, Apple Metal sowie Google TPUs. Der zentrale Anspruch besteht darin, die Inferenzgeschwindigkeit, also die Verarbeitung von Nutzeranfragen, über verschiedene Architekturen hinweg zu maximieren und damit bestehende technische und wirtschaftliche Silos aufzulösen. Mit dem wachsenden Einsatz von Künstlicher Intelligenz in Wirtschaft und Alltag rückt die Optimierung der Inferenz zunehmend in den Mittelpunkt und übertrifft an Bedeutung sogar das Training neuer Modelle. Morin weist darauf hin, dass fragmentierte Softwarelösungen und Architekturbarrieren nach wie vor zu Anbieterbindung führen. ZML/LLMD soll Unternehmen und Cloud-Anbietern ermöglichen, heterogene Hardwarelandschaften effizient zu nutzen, Kosten und Energieverbrauch zu senken sowie die flächendeckende Verbreitung von KI zu beschleunigen. Besonders europäischen KI-Chipentwicklern wie Axelera, Kalray, SiPearl und VSORA bietet das Werkzeug die Chance, ihre Hardware in globalen Ökosystemen zu etablieren, so Morin. Der Markt für Inferenzlösungen wird zunehmend umkämpft und von Investoren als Goldrausch bezeichnet. Neben ZML treten etablierte Player wie Baseten, Inferact hinter vLLM sowie RadixArk hinter SGLang an. Trotz dieser Konkurrenz betont Morin die enge Zusammenarbeit mit Nvidia und erwähnt, dass ZML bereits in die Hardwareentwicklung eingebunden ist, um Chips und Software gemeinsam zu optimieren. Das pariser Startup agiert dabei mit einem kompakten Team von etwa zwanzig Mitarbeitern und konnte sich bereits mit einer Beteiligung in Höhe von zwanzig Millionen US-Dollar von führenden Venture-Capital-Gebern wie 20VC, Kima Ventures, LocalGlobe sowie Branchenexperten wie Solomon Hykes und den Gründern von Hugging Face absichern. Im Gegensatz zum im Vorjahr veröffentlichten ML-Framework ist ZML/LLMD nicht quelloffen, wird jedoch zunächst kostenfrei angeboten. Ziel sei es, Nutzungsverhalten präzise zu messen und die kommerzielle Verwertung gezielt an den vielversprechendsten Anwendungsfällen auszurichten, ohne das Wachstum unnötig durch frühe Gebühren zu behindern. Ein konkretes Umstellungsdatum auf ein Bezahlmodell steht noch nicht fest. Die breite Unterstützung durch internationale Investoren und die technische Ausrichtung unterstreichen zudem die wachsende Bedeutung des europäischen KI-Ökosystems. Morin betonte, dass die Innovation nur in Paris mit seiner spezifischen Tech-Landschaft denkbar gewesen wäre. Mit ZML/LLMD positioniert sich das Startup strategisch als Katalysator für eine offenere, effizientere und hardwareunabhängige KI-Infrastruktur.