Ce projet, RustGPT, est une implémentation complète d’un modèle de langage à grande échelle (LLM) basé sur l’architecture des transformateurs, entièrement écrite en Rust, sans recourir à des frameworks de machine learning externes comme PyTorch ou TensorFlow. Conçu comme un exercice pédagogique et technique, il démontre comment construire un LLM « depuis zéro » en utilisant uniquement des outils fondamentaux : ndarray pour les opérations matricielles et des algorithmes de base en apprentissage automatique. Le modèle suit une architecture classique de transformateur : il commence par la tokenisation du texte, puis applique des embeddings, passe par plusieurs blocs de transformateur (attention multi-têtes + réseau feed-forward), suit une normalisation de couche, et termine par une couche de projection pour prédire les mots suivants. Tous les composants sont modularisés : attention auto-associative, couche feed-forward, normalisation de couche, projection de sortie, gestion du vocabulaire et optimiseur Adam — chacun implémenté de manière explicite. Le projet comporte deux phases d’apprentissage : une pré-formation sur des énoncés factuels (ex. : « Le soleil se lève à l’est ») pour acquérir des connaissances générales, suivie d’une tuning par instruction pour améliorer la capacité à interagir en mode conversation (ex. : « Comment se forment les montagnes ? » → « Par des forces tectoniques… »). L’entraînement utilise une perte de cross-entropie, l’optimiseur Adam avec un clipping des gradients (norme L2 maximale à 5,0), et des taux d’apprentissage progressifs (5e-4 pour la pré-formation, 1e-4 pour la tuning). Le système fonctionne en mode interactif après l’entraînement : l’utilisateur peut entrer une requête, et le modèle génère une réponse via un décodage glouton. La génération de texte inclut une tokenisation personnalisée capable de gérer la ponctuation, et la configuration du modèle est flexible (taille du vocabulaire dynamique, dimension d’embedding de 128, dimension cachée de 256, longueur maximale de séquence de 80 tokens, 3 blocs de transformateur). L’ensemble du code est rigoureusement testé : chaque composant (attention, feed-forward, embeddings, etc.) dispose de tests unitaires, assurant la robustesse et la fiabilité. Le projet encourage l’expérimentation : il est possible de compiler une version optimisée avec cargo build --release, de lancer les tests (cargo test) ou d’activer la sortie détaillée avec --nocapture. Pour les contributeurs, plusieurs axes d’amélioration sont identifiés : sauvegarde des paramètres entraînés (persistances), optimisations de performance (SIMD, entraînement parallèle), meilleures stratégies de génération (top-k, top-p, température), et intégration d’architectures avancées comme l’encodage positionnel ou RoPE. Ce projet s’adresse à la fois aux débutants (ajout de données, gestion des fichiers de configuration) et aux développeurs expérimentés (parallélisation, optimisations de mémoire). En résumé, RustGPT est une ressource exceptionnelle pour comprendre les mécanismes internes des grands modèles de langage, tout en exploitant les avantages du langage Rust : sécurité, performance, contrôle de bas niveau. Il illustre parfaitement comment les concepts fondamentaux de l’IA — attention, backpropagation, optimisation — peuvent être implémentés de manière transparente et éducative, sans dépendances lourdes. Pour les passionnés de machine learning et de Rust, c’est une porte d’entrée idéale vers la compréhension profonde des LLM modernes.