AMD und Qualcomm unterstützen gpt-oss-Modelle in ihren Chips

AMD und Qualcomm haben kürzlich gemeinsam die Unterstützung ihrer Hardware für die neu von OpenAI vorgestellten gpt-oss-Serie offener Inferenzmodelle angekündigt, was einen bedeutenden Schritt in Richtung Integration von Künstlicher Intelligenz in die Edge-Computing-Architektur darstellt. Die gpt-oss-Serie umfasst zwei Modelle: das kompaktere gpt-oss-20b mit geringerem Parameterumfang und das leistungsstärkere gpt-oss-120b. Während gpt-oss-20b bereits auf Geräten mit 16 GB Arbeitsspeicher flüssig läuft, ist gpt-oss-120b für den Einsatz auf einer einzelnen GPU mit 80 GB Speicher ausgelegt. AMD hebt hervor, dass der Ryzen AI Max+395 – der weltweit erste Konsum-PC-Prozessor – nun die Fähigkeit besitzt, das gpt-oss-120b-Modell direkt auf dem Gerät auszuführen. Um diese Leistung zu ermöglichen, setzt AMD auf den GGML-Framework und das MXFP4-Format, wodurch das Modell bei etwa 61 GB VRAM effizient läuft. Das „Strix Halo“-Plattform-Design nutzt eine 128-GByte-Universalspeicherarchitektur, wobei 96 GB dem GPU-Teil zugewiesen werden können, um die Anforderungen des Modells zu erfüllen. In der Praxis erreicht der Ryzen AI Max+395 eine Ausgabegeschwindigkeit von 30 Token pro Sekunde und unterstützt das MCP-Modell-Context-Protokoll, was die Bearbeitung komplexer Aufgaben schneller und effizienter macht. Gleichzeitig bestätigt Qualcomm, dass gpt-oss-20b auf seinen Snapdragon-Plattformen in frühen Tests hervorragende Fähigkeiten im Bereich Chain-of-Thought-Reasoning zeigt. Entwickler können das Modell über bekannte Open-Source-Plattformen wie Hugging Face und Ollama auf Snapdragon-Geräten nutzen, was die Integration und Nutzung erheblich vereinfacht. Diese Zusammenarbeit unterstreicht nicht nur die strategische Ausrichtung beider Unternehmen auf die Zukunft der KI, sondern eröffnet auch neue Perspektiven für lokalisierte, datensichere und reaktionsfähige KI-Anwendungen im Edge-Bereich. Mit der zunehmenden Verbreitung von gpt-oss-Modellen wird erwartet, dass intelligente Geräte künftig autonomer, schneller und anpassungsfähiger werden – von Smartphones bis hin zu tragbaren und IoT-Geräten. Industrielle Experten sehen in der Kooperation zwischen AMD und Qualcomm eine signifikante Wende im KI-Ökosystem. Die Fähigkeit, leistungsstarke LLMs direkt auf Endgeräten zu betreiben, reduziert die Abhängigkeit von Cloud-Infrastrukturen und verbessert Privatsphäre, Latenz und Verfügbarkeit. AMD positioniert sich damit als führender Anbieter für KI-optimierte Prozessoren im Consumer-Segment, während Qualcomm seine Stärke im mobilen AI-Markt weiter ausbaut. Beide Unternehmen nutzen Open-Source-Strategien, um Entwickler zu gewinnen und die breite Akzeptanz von gpt-oss zu beschleunigen. Die Integration von MXFP4 und GGML zeigt zudem, dass die Branche sich auf effiziente, hardwarenahe KI-Implementierungen konzentriert – ein Trend, der auch in zukünftigen Chips und Plattformen weitergehen wird.