OpenAI testet ersten Inferenzchip, Nachfolger in Fertigung

OpenAI hat am 25. August die ersten Leistungsdaten seiner ersten eigenentwickelten KI-Inferenzchip-Reihe Jalapeño veröffentlicht. Das Hardwareprojekt entstand in enger Zusammenarbeit mit Broadcom für die Chipimplementierung und Celestica für das Systemdesign. Innerhalb von neun Monaten gelang der Sprung von der Architektur bis zur Fertigung. Die aktuellen Testergebnisse, die von SemiAnalysis vor Ort validiert wurden, vergleichen die A0-Engineering-Chips mit den NVIDIA-Systemen GB200 und GB300. Dabei zeigte Jalapeño bei mehreren großen Sprachmodellen, darunter GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T, eine signifikant überlegene Energieeffizienz. Im Peak-Betrieb liegt der pro Kilowatt erzielte Token-Durchsatz um das 1,5- bis 1,9-Fache höher als bei den NVIDIA-Vergleichssystemen. Zudem ermöglicht der Chip bei gleichzeitigem Einhalten niedriger Latenzgrenzen eine bis zu vierfach höhere Generierungsgeschwindigkeit pro Nutzer. Bei konstant gehaltener Single-User-Geschwindigkeit kann Jalapeño parallel bis zu 104-mal mehr Inferenzanfragen abwickeln, was auf eine hochgradig optimierte Ressourcenverteilung zurückzuführen ist. Die tatsächliche Betriebslast bleibt dabei deutlich unter der Nennleistung von 700 Watt. Die Softwareintegration profitiert von KI-unterstützten Optimierungen. Durch den Einsatz interner Tools wurden Treiber-Kernel in bestimmten Attention- und MoE-Modulen um das 1,5- bis 1,8-Fache beschleunigt. Die getesteten externen Modelle wurden binnen kurzer Zeit erfolgreich portiert. Die zugrundeliegende Architektur deckt sowohl den Prefill- als auch den Decode-Schritt in einem integrierten beschleunigten Arbeitsablauf ab, was die bisherige Trennung in unterschiedliche Chip-Typen überflüssig macht. Parallel zur Veröffentlichung verläuft die Hardwareentwicklung weiter. Die Nachfolgegeneration Jalapeño B0 befindet sich bereits in der Fertigung und setzt auf TSMCs N3P-Prozessknoten. Sie bietet eine theoretische Rechenleistung von 13,4 PFLOPS im MXFP4-Format und ist mit HBM4-Speichern sowie einem dedizierten I/O-Chip für die Kommunikation innerhalb und zwischen Server-Racks ausgestattet. Der vollständige Rollout der ersten Generation ist für das Ende 2026 im eigenen Rechenzentrum von OpenAI geplant. Die Entwicklung der zweiten Generation schreitet voran, während bereits die dritte Phase konzipiert wird. Trotz der fortschreitenden Eigenentwicklung behält OpenAI die Zusammenarbeit mit NVIDIA und anderen Halbleiterpartnern bei, um die eigene Infrastruktur langfristig flexibel und skalierbar zu halten.