Bonsai 27B läuft erstmals auf Smartphones
PrismML hat den Bonsai 27B vorgestellt, das erste Multimodal-Modell seiner Parameterklasse, das auf Smartphones ausgeführt werden kann. Basierend auf der Qwen3.6-27B-Architektur markiert der Release einen Meilenstein in der Lokalisierung leistungsfähiger KI-Systeme. Das kalifornische Start-up, dessen Ursprung im Forschungsbetrieb der California Institute of Technology liegt und das unter anderem von Khosla Ventures, Google und Samsung unterstützt wird, adressiert damit eine lange bestehende Infrastrukturhürde: Die Einbettung schwerer Modelle mit komplexen Reasoning-Fähigkeiten direkt auf Endgeräten. Der Bonsai 27B setzt auf eine durchgängige Komprimierungstechnologie ohne Hochpräzisions-Escape-Hatches in den Layern. Das Modell wird in zwei Varianten ausgeliefert. Die Ternary-Version nutzt {−1, 0, +1}-Gewichte mit FP16-Gruppenskaliierung und erreicht eine effektive Bitgröße von 1,71. Bei einem Speicherbedarf von rund 5,9 Gigabyte ist sie für Laptop-Systeme konzipiert und bewahrt die vollständige Agentic- und Werkzeugnutzungs-Funktionalität. Die 1-Bit-Variante reduziert die Gewichte auf {−1, +1} auf 1,125 Bit pro Parameter und belegt nur 3,9 Gigabyte. Diese Variante ist erstmals in der Lage, das verfügbare RAM eines modernen Smartphones wie dem iPhone 17 Pro zu nutzen und bleibt dabei ausreichend Spielraum für KV-Cache und Aktivierungen. Die Leistungsfähigkeit bleibt trotz der drastischen Reduktion der Bit-Tiefe hoch. Im Vergleich zur vollexpliciten Baseline behält die Ternary-Variante 95 Prozent, die 1-Bit-Variante 90 Prozent der Leistung über ein Suite von 15 Benchmarks bei. Besonders Bereiche wie Mathematik, Coding, Tool-Aufrufe und multimodales Verstehen zeigen nur minimale Einbußen. Die Intelligence Density liegt bei der 1-Bit-Variante bei 0,53 pro Gigabyte, was mehr als dem Zehnfachen des vollexpliciten Baselines entspricht. Auf Hardware wie der NVIDIA GeForce RTX 5090 oder Apple M5 Max werden Generierungsraten von bis zu 163 bzw. 87 Tokens pro Sekunde erreicht. Der strategische Nutzen liegt in der Verschiebung von Cloud-zentrierten Single-Response-Workflows hin zu lokalen, persistierenden Agentic-Systemen. Durch die Ausführung direkt auf dem Endgerät entfallen Latenz, kumulative API-Kosten und Datenschutzrisiken bei sensiblen Daten wie Bildschirminhalten oder persönlichen Dokumenten. Dies ermöglicht neue hybride Architekturen, bei denen datenschutzkritische oder wiederkehrende Aufgaben lokal abgearbeitet werden, während anspruchsvollere Schritte an Cloud-Modelle delegiert werden. Das Modell unterstützt einen Kontext von 262.000 Tokens, multimodale Eingaben via Vision-Tower sowie spekulatives Decoding. Für Entwickler ist der Bonsai 27B ab sofort über die Apache-2.0-Lizenz verfügbar. Native Unterstützung besteht über MLX auf Apple-Plattformen und CUDA auf NVIDIA-GPUs, ergänzt durch ein zeitlich begrenztes API-Preview-Programm. Die Veröffentlichung unterstreicht den wachsenden Fokus der Branche auf Effizienz und dezentrale KI-Infrastruktur, da Intelligence Density zunehmend zum entscheidenden Faktor für die Skalierbarkeit und den praktischen Einsatz von Sprach- und Multimodalmodellen wird.
