Le projet open source colibrì, développé par le contributeur JustVugg, démontre qu’il est désormais possible d’exécuter un modèle d’intelligence artificielle de 744 milliards de paramètres sur une machine grand public, sans recours à des cartes graphiques puissantes ni à des dépendances logicielles lourdes. En pure C et avec zéro dépendance au runtime, ce moteur utilise seulement 25 Go de mémoire vive et un stockage NVMe pour faire tourner le modèle GLM-5.2 de Z.ai. La clé de cette performance réside dans l’architecture MoE (Mixture of Experts) du modèle, qui n’active qu’environ 40 milliards de paramètres par token généré. Au lieu de charger l’intégralité du réseau en RAM, colibrì diffuse les experts nécessaires directement depuis le disque au fil de la génération. Le moteur intègre une compression de l’attention dite MLA, une quantification avancée en int4 et int8, ainsi qu’un décodage spéculatif natif pour accélérer la production de texte. Une fonctionnalité innovante, le cache d’apprentissage, identifie et maintient en mémoire les experts les plus sollicités, permettant au système de gagner progressivement en rapidité au fil des échanges. Les performances varient considérablement selon le matériel installé. Sur une configuration standard à 25 Go de RAM et un NVMe limité à 1 Go/s, la vitesse initiale tourne autour de 0,05 à 0,1 token par seconde. Cependant, le réchauffement du cache et l’activation du décodage spéculatif permettent d’atteindre des débits plus élevés. Sur des machines grand public plus performantes, comme un Apple M5 Max avec 128 Go de RAM unifiée ou un stockage NVMe PCIe 5 rapide, le débit peut s’établir entre 1 et 4 tokens par seconde, rendant l’expérience pratiquement utilisable pour des tâches locales. Ce projet ne vise pas la haute performance industrielle, mais prouve conceptuellement qu’un modèle de taille frontalière peut fonctionner sur un ordinateur personnel coûtant moins qu’un seul composant GPU serveur. L’approche repose sur un compromis assumé : la vitesse est limitée par les lectures aléatoires du disque, mais la consommation énergétique et le matériel requis sont drastiquement réduits. Le convertisseur de poids intégré permet de gérer un modèle de près de 370 Go sans saturer le stockage local, en traitant les fichiers par morceaux et en supprimant les données intermédiaires. Déployé sous licence Apache 2.0, colibrì s’inscrit dans une démarche de démocratisation de l’IA générative. Son développement reste communautaire et les chercheurs sont invités à partager leurs benchmarks de qualité pour évaluer l’impact de la quantification sur la précision du modèle. En contournant la dépendance aux supercalculateurs, ce moteur ouvre la voie à une exécution locale plus accessible des grands modèles de langage, à condition d’accepter une latence initiale plus élevée.