En automne 2023, alors que le monde entier s’enthousiasmait pour ChatGPT et les grands modèles linguistiques, deux frères australiens, Daniel Han et Michael Han-Chen, se demandaient pourquoi le fine-tuning d’un modèle open source prenait autant de temps et de ressources. Daniel, diplômé de l’Université de Nouvelle-Galles du Sud et ancien ingénieur chez NVIDIA, où il avait optimisé des algorithmes comme le TSNE (amélioration de 2000 fois) et le Randomized SVD, avait compris une vérité fondamentale : les goulets d’étranglement des performances dans l’IA ne sont pas tant matériels que logiciels. Les frameworks comme PyTorch ou TensorFlow, conçus pour la généralité, sacrifient l’efficacité pour être compatibles avec diverses architectures. Mais en optimisant spécifiquement pour des cas d’usage, les gains sont énormes. Frustré par la lenteur et la surcharge mémoire du modèle de 13 milliards de paramètres sur une GPU T4 gratuite de Google Colab, Daniel décida de passer à l’action. Avec son frère Michael, ils lancèrent un projet ambitieux : Unsloth, un framework open source conçu pour rendre la formation des modèles d’IA plus rapide, plus légère et accessible à tous. Leur démarche fut d’abord expérimentale : lors du LLM Efficiency Challenge européen en octobre 2023, ils n’ont pas cherché à maximiser la précision, mais à minimiser le temps et la mémoire. En appliquant des optimisations profondes au niveau du code, ils ont réussi à doubler la vitesse de formation et à réduire de 50 % l’utilisation de mémoire, sans perte de précision. Ce résultat, publié en décembre 2023, a rapidement attiré l’attention. Ce qui a véritablement fait la réputation d’Unsloth, c’est leur intervention sur Google Gemma en mars 2024. Dès leur intégration, ils ont découvert une série de bugs critiques : des erreurs dans le tokenizer, des calculs incorrects d’encodage de position (RoPE), des problèmes de précision numérique. Après trois jours de recherche, ils ont documenté huit bugs avec des démonstrations mathématiques, des tests et des logs complets. Leur analyse a été partagée publiquement. En quelques heures, des développeurs du monde entier l’ont testée, confirmée, et Google a reconnu les erreurs, intégré les corrections et remercié le projet. Andrej Karpathy a même tweeté : « C’est là qu’on voit la valeur d’une compréhension profonde de chaque couche du stack d’IA. » Depuis, Unsloth est devenu un pilier de l’écosystème open source. Ils ont corrigé des bugs dans Llama 3, Phi-4, Qwen 2.5, et même un bug généralisé dans le calcul du gradient accumulé, intégré au cœur de Hugging Face Transformers. Leur approche repose sur une réécriture complète du moteur de différentiation automatique : au lieu de dépendre de PyTorch, ils dérivent manuellement les équations matricielles, optimisant les calculs. Par exemple, dans les modèles LoRA, ils fusionnent les opérations pour éviter les multiplications intermédiaires — une simple transformation algébrique qui améliore la vitesse de 4 à 6 % et réduit drastiquement la mémoire. Ils ont également développé une technique appelée quantification dynamique : plutôt que de compresser toutes les couches en 4 bits, ils préservent la précision là où elle compte le plus. Couplée à des noyaux écrits en Triton (OpenAI), cette approche permet d’obtenir des performances exceptionnelles. Les résultats sont impressionnants : sur une seule GPU T4, le fine-tuning d’Alpaca passe de 23h15 à 2h34 — soit une accélération de 8,8 fois. Sur SlimOrca, le temps passe de 391 à 51 heures. La mémoire utilisée chute de 16,7 Go à 6,9 Go. Aujourd’hui, Unsloth compte plus de 47 500 étoiles sur GitHub, avec plus de 2 millions de téléchargements mensuels. Des développeurs du monde entier — du Japon à l’Inde, du Chili au Nigeria — utilisent le framework pour entraîner des modèles spécialisés. Un usage particulièrement touchant : la localisation linguistique. Des utilisateurs ont utilisé Unsloth pour adapter des modèles anglais à des langues locales comme le coréen, l’indonésien ou les langues indiennes, rendant l’IA accessible à des dizaines de millions de personnes qui n’avaient jamais eu accès à des outils performants dans leur langue. Leur modèle économique repose sur des versions payantes (Pro, Max) pour les fonctionnalités avancées, mais le cœur du projet reste strictement open source. Pour Daniel, « l’open source, c’est la confiance. » Dans un domaine où la transparence fait défaut, pouvoir vérifier, contribuer, corriger — c’est ce qui sauve l’innovation. Aujourd’hui, Unsloth n’est plus seulement un outil. C’est une révolution du democratization de l’IA : prouver qu’on peut atteindre l’AGI non pas avec plus de puissance brute, mais avec plus d’intelligence logicielle. Comme le dit Daniel : « Alors que les grandes entreprises utilisent 100 000 H100, nous montrons que, avec moins de ressources et plus de finesse, l’IA peut être au service de chacun. »