Bonsai 27B : premier modèle IA 27B sur smartphone
PrismML, une startup issue de chercheurs du Caltech et soutenue par plusieurs investisseurs majeurs, a présenté Bonsai 27B. Développé à partir du modèle Qwen3.6 27B, ce nouvel outil multimodal devient le premier de sa catégorie en termes de capacité à fonctionner directement sur un smartphone. L'annonce marque une avancée significative dans le domaine de l'intelligence artificielle locale, visant à démocratiser l'utilisation de modèles complexes sans dépendre exclusivement des infrastructures cloud. Le modèle se décline en deux versions optimisées pour différents usages. La variante Ternary, utilisant des poids ternaires et pesant 5,9 Go, est conçue pour les ordinateurs portables et préserve une qualité supérieure. La version 1-bit, réduite à 3,9 Go, est la première à tenir dans les limites mémoire d'un smartphone moderne comme l'iPhone 17 Pro. Les deux versions fonctionnent entièrement en basse précision, couvrant l'ensemble des couches du réseau neuronal, et intègrent une compréhension visuelle, une mémoire contextuelle de 262 000 tokens et une accélération par décodage spéculatif. Malgré sa forte compression, Bonsai 27B conserve une intelligence remarquable. Sur une série de quinze tests couvrant les mathématiques, la programmation, l'appel d'outils et la vision, la version Ternary récupère 95 % des performances du modèle original en pleine précision, tandis que la version 1-bit en atteint 90 %. Ces résultats placent le modèle au premier plan pour les tâches agentic, où la cohérence sur de multiples étapes est cruciale. L'entreprise souligne une densité d'intelligence par gigaoctet supérieure de dix fois à celle des modèles pleine précision, permettant des débits allant jusqu'à 163 tokens par seconde sur un GPU NVIDIA GeForce RTX 5090 et 87 tokens par seconde sur puce Apple Silicon. Cette avancée répond à un besoin croissant pour des workflows IA autonomes et continus. L'exécution locale élimine les coûts par token, réduit la latence et garantit la confidentialité des données sensibles, qui ne quittent jamais l'appareil. Les entreprises pourront ainsi adopter des architectures hybrides, en confiant les tâches sensibles ou répétitives au modèle local et en réservant le cloud pour les calculs les plus complexes. Compatible avec les écosystèmes Apple via MLX et NVIDIA via CUDA, Bonsai 27B est publié sous licence Apache 2.0. Une API d'essai limitée est également mise à disposition des développeurs pour accélérer l'intégration de cette technologie dans de nouvelles applications. En repoussant les limites de la compression neuronale, PrismML démontre que la densité intelligente devient un axe stratégique pour l'avenir de l'IA. Cette publication confirme une tendance claire : les capacités autrefois réservées aux datacenters s'intègrent progressivement dans les appareils personnels, ouvrant la voie à une nouvelle génération d'assistants autonomes, accessibles et respectueux de la vie privée.
