Mit dem Open-Source-Projekt TurboFieldfare hat der iOS- und Metal-Entwickler Andrey Mikhaylov eine speziell optimierte Inferenz-Engine für LLMs auf Apple-Silicon-Geräten veröffentlicht. Die Software ermöglicht es, das instruktionsfine-tunte Modell Gemma 4 26B-A4B mit einer Parameterzahl von 26 Milliarden auf Geräten mit lediglich acht Gigabyte RAM auszuführen, obwohl der Modellspeicher normalerweise weit höher ausfällt. Der Kern der Innovation liegt in einem maßgeschneiderten Swift- und Metal-Runtime-System, das den gesamten Modellcheckpoint nicht im Arbeitsspeicher vorhalten muss. Stattdessen werden nur ein 1,35 GB großes Kernmodell und ein FP16-KV-Cache im RAM gehalten, während die spezifischen Experten-Parameter pro Token bedarfsgerecht vom SSD-Laufwerk gestreamt werden. Dieser Ansatz erlaubt einen RAM-Verbrauch von circa zwei Gigabyte während der Generierung. Technisch basiert die Architektur auf einem eigenen .gturbo-Dateiformat und einer 4-bit-Quantisierung für Einbettungen, Aufmerksamkeits- und Experten-Wege, kombiniert mit einem 8-Bit-Router. Die Parallelisierung von Leseoperationen und Metal-Kernen sowie ein LFU-Caching für Experten minimieren I/O-Engpässe. Das Projekt unterstützt sowohl die Prompt-Phase in 128-Token-Chunks als auch die tokenweise Generierung. TurboFieldfare ist als native Anwendung, eine Kommandozeilenschnittstelle sowie ein lokaler, OpenAI-kompatibler Server verfügbar. Die Installation erfolgt über einen gestreamten Installer, der direkte Byte-Bereiche von Hugging Face anfragt und das Modell ohne Zwischenspeicherung der vollen Quelldatei konvertiert. In Benchmarktests erreichte die Engine auf einem MacBook Air M2 mit acht Gigabyte RAM eine Leistung von fünf bis sechs Tokens pro Sekunde, während ein M5 Pro mit 24 Gigabyte RAM Werte von 31 bis 35 Tokens pro Sekunde erzielte. Die Parameter zur Textgenerierung sind standardmäßig auf Temperatur 0,2, Top-K 64 und Top-P 0,95 eingestellt, wobei deterministische Ausgaben über Temperatur 0 möglich sind. Aktuelle Funktionen beschränken sich rein auf Textinferenz; multimodale Eingaben oder Tool-Ausführungen werden nicht unterstützt, der Server gibt jedoch Tool-Declarations an Clients zurück. Der Quellcode und die Dokumentation stehen unter der Apache-Lizenz 2.0 zur Verfügung, die Modellgewichte werden separat heruntergeladen und unterliegen den ursprünglichen Lizenzen. TurboFieldfare positioniert sich als unabhängiges Forschungsprojekt und demonstriert eindrucksvoll, wie durch hardwarenahe Optimierung und speichereffiziente Streaming-Techniken lokal ausgeführte Large Language Models auch auf ressourcenbeschränkter Consumer-Hardware praktikabel werden. Die Verfügbarkeit der vollständigen Tools bietet Entwicklern und der Forschungscommunity ein transparentes Fundament für weitere Optimierungen im Bereich des On-Device-Machine-Learning unter macOS.