Le développeur jamesob a publié sur GitHub une architecture matérielle et logicielle complète pour exécuter des modèles de langage de grande taille localement, proposant une alternative structurée aux infrastructures cloud. L'approche se décline en deux configurations adaptées à différents budgets. Pour environ deux mille dollars, l'assemblage de deux cartes graphiques RTX 3090 offre 48 Go de mémoire vidéo, permettant le déploiement de modèles performants comme Qwen ou de systèmes de transcription vocale avancés. Pour une capacité de calcul supérieure, proche des standards actuels des grands modèles, une configuration à quarante mille dollars équipe le poste de quatre GPU NVIDIA RTX PRO 6000, totalisant 384 Go de mémoire vidéo. Afin de maîtriser les coûts, la plateforme repose sur un processeur AMD EPYC Milan de génération précédente et 128 Go de RAM DDR4, des composants majoritairement acquis sur le marché de l'occasion. L'innovation centrale du projet réside dans l'utilisation d'un commutateur PCIe de quatrième génération pour établir une communication directe entre les cartes graphiques. Cette méthode contourne le processeur principal et élimine le besoin de plates-formes PCIe 5.0 onéreuses, tout en garantissant une latence minimale lors des calculs parallèles nécessaires à l'inférence. Un châssis ouvert et une gestion thermique personnalisée complètent l'assemblage physique. Le déploiement logiciel s'appuie sur des conteneurs Docker et le framework d'inférence vLLM. Une série de réglages système s'avère indispensable pour stabiliser la machine. La désactivation du contrôle d'accès PCI et certaines économies d'énergie au niveau du BIOS forcent le trafic réseau à rester confiné dans le commutateur, préservant ainsi le débit maximal. Pour fonctionner sur un circuit électrique domestique standard, la puissance de chaque carte est volontairement limitées à 350 watts, assurant une stabilité thermique et électrique sans surcharger l'alimentation. Les benchmarks démontrent la viabilité de cette configuration. Le échange de données entre les GPU atteint environ 50,4 Go par seconde en communication bidirectionnelle, avec une latence inférieure à la microseconde. Cette architecture permet de faire tourner des modèles pesant plusieurs centaines de milliards de paramètres, générant près de quatre-vingts tokens par seconde sur de longs contextes. En centralisant le stockage des poids du modèle sur un système de fichiers redondant et en isolant l'exécution, ce projet illustre comment l'optimisation rigoureuse du matériel accessible peut démocratiser le calcul IA local, réduisant significativement la dépendance aux fournisseurs de cloud et offrant une alternative autonome et économique pour les développeurs et les entreprises.