L'algorithme de Monte Carlo par échange de répliques (reMC), également connu sous le nom de recuit parallèle, constitue une technique essentielle pour accélérer la convergence des algorithmes classiques de chaîne de Markov de Monte Carlo (MCMC). Toutefois, cette méthode nécessite l’évaluation de la fonction d’énergie basée sur l’ensemble complet des données, ce qui la rend peu évolutive dans le cadre des grands ensembles de données. Une implémentation naïve du reMC dans un cadre par mini-batch introduit des biais importants, empêchant toute extension directe vers les méthodes MCMC à gradient stochastique (SGMCMC), qui constituent la méthode standard d’échantillonnage pour la simulation à partir de réseaux de neurones profonds (DNN). Dans cet article, nous proposons une méthode adaptative d’échange de répliques pour les SGMCMC (reSGMCMC), capable de corriger automatiquement ces biais, et étudions les propriétés correspondantes. L’analyse révèle un compromis entre accélération et précision dans la discrétisation numérique d’un processus de saut de Markov dans un environnement stochastique. Expérimentalement, nous testons l’algorithme à travers des expérimentations étendues sur diverses configurations et obtenons des résultats de pointe sur CIFAR10, CIFAR100 et SVHN, tant dans des tâches d’apprentissage supervisé que semi-supervisé.