L'entraînement distribué des grands modèles d'intelligence artificielle repose sur un équilibre constant entre les stratégies logicielles et la qualité des interconnexions matérielles. Pour dépasser les limites de mémoire d'une carte graphique unique, les ingénieurs utilisent principalement le parallélisme de données distribué, qui conserve une copie complète du modèle sur chaque processeur, garantissant une vitesse élevée au prix d'une forte consommation de mémoire. À l'opposé, le parallélisme de données entièrement fragmenté divise le modèle entre plusieurs unités, réduisant drastiquement l'espace requis mais multipliant les échanges de données nécessaires au calcul. Des paliers intermédiaires permettent de moduler cet compromis selon les contraintes du projet. Cependant, le choix stratégique ne détermine pas seul la performance finale. La vitesse réelle des calculs dépend directement du câblage physique reliant les processeurs. La norme PCIe, bien que universelle, offre une bande passante limitée car le trafic traverse le processeur central. Les technologies NVLink contournent cette limitation en établissant un lien direct et ultra-rapide entre les cartes. La topologie réseau interne joue un rôle crucial : un commutateur interconnecte toutes les unités à pleine vitesse, tandis que des ponts physiques regroupent les cartes par petits ensembles, forçant le trafic entre groupes à emprunter les voies lentes du bus système. Des mesures expérimentales confirment que cette différence matérielle peut multiplier les performances par dix. Sur un réseau rapide, la fragmentation atteint un débit comparable à la réplication totale tout en utilisant beaucoup moins de mémoire. Sur une architecture fragmentée, les échanges constants nécessaires à la fragmentation pénalisent fortement le débit, parfois par trois à cinq, tandis que la réplication résiste mieux grâce à ses moindres sollicitations réseau. Le logiciel détermine la quantité de données à transférer, mais le câblage fixe le coût de ces transferts. Pour optimiser une infrastructure d'entraînement, il est essentiel d'analyser la topologie des serveurs avant de lancer les tâches. Sur un matériel à interconnexions unifiées, privilégier les méthodes de fragmentation permet de scaler efficacement les modèles volumineux sans sacrifier la vitesse. Sur une architecture à ponts, il convient de limiter les calculs au sein d'un même groupe matériel ou de recourir à la réplication pour minimiser les goulets d'étranglement. Cette synergie entre choix algorithmique et réalité physique reste le facteur décisif pour rendre l'entraînement des grands modèles à la fois viable, économique et performant.