Das Open-Source-Projekt colibri ermöglicht die Ausführung des frontier-KI-Modells GLM-5.2 mit 744 Milliarden Parametern auf reinen Consumer-Hardware-Systemen mit lediglich 25 Gigabyte Arbeitsspeicher. Entwickelt in reiner Programmiersprache C ohne externe Laufzeitabhängigkeiten, demonstriert die Engine eine neuartige Architektur für ressourcenintensive Mixture-of-Experts-Modelle und umgeht damit traditionell die Notwendigkeit hochpreisiger GPU-Cluster. Der Kern der Software besteht aus einer einzigen Quelldatei, die den Forward-Through des Modells exakt abbildet. Da ein MoE-Modell pro Token nur etwa 40 Milliarden Parameter aktiviert, werden die benötigten Expertenblöcke direkt von der Festplatte gestreamt, ohne den Arbeitsspeicher zu überlasten. Für die Aufmerksamkeitsmechanik kommt MLA-Attention mit komprimiertem KV-Speicher zum Einsatz, der den Speicherbedarf um den Faktor 57 reduziert. Die Modellgewichte werden durch einen schluckweisen Konvertierungsprozess von FP8 auf int4 quantisiert, sodass das ursprüngliche 756 Gigabyte große Checkpoint nie vollständig im Speicher liegen muss. Zusätzlich ist eine native Multi-Token-Prediction-Implementierung integriert, die durch spekulatives Vorausberechnen die Inferenzrate bei warmen Caches signifikant steigert. Da die Berechnung vollständig CPU-basiert ist, stellt die Festplatteneinlesegeschwindigkeit den primären Leistungsfaktor dar. Auf der Entwicklerhardware (WSL2, NVMe, 25 GB RAM) liegen die Raten bei etwa 0,05 bis 0,1 Token pro Sekunde im Kaltstart. Durch adaptive Routing-Strategien lässt sich der I/O-Overhead um bis zu 30 Prozent senken, was insbesondere bei Systemen mit begrenztem Arbeitsspeicher messbar vorteilhaft ist. Auf professioneller Hardware mit schnellen NVMe-Laufwerken und über 64 Gigabyte RAM prognostiziert das Entwicklerteam Werte zwischen zwei und vier Token pro Sekunde, wobei der Flaschenhursch dann von der Datenübertragung zu den reinen Rechenkapazitäten wechselt. Die Engine ist als Apache-2.0-Projekt auf GitHub verfügbar, während die GLM-5.2-Gewichte von Z.ai unter der MIT-Lizenz vertrieben werden. Ein vorquantisiertes int4-Modell steht auf Hugging Face bereit, wodurch Nutzer den Konvertierungsaufwand umgehen können. Parallel ruft das Entwicklerteam die Community zur Teilnahme an Genauigkeitsbenchmarks auf, um die Auswirkungen der Quantisierung wissenschaftlich zu validieren. Colibri unterstreicht nachhaltig, dass hochskalierende Sprachmodelle durch clevere Softwarearchitektur, aggressives Caching und Festplatten-Streaming auch auf alltäglicher Systemhardware produktiv nutzbar sind.