Ce document présente une étude sur l'apprentissage semi-supervisé avec de grands réseaux de neurones convolutifs. Nous proposons un pipeline basé sur le paradigme enseignant/étudiant, qui exploite une grande collection d'images non étiquetées (jusqu'à 1 milliard). Notre objectif principal est d'améliorer les performances pour une architecture cible donnée, comme ResNet-50 ou ResNext. Nous fournissons une analyse approfondie des facteurs de succès de notre approche, ce qui nous amène à formuler certaines recommandations pour produire des modèles à haute précision pour la classification d'images avec l'apprentissage semi-supervisé. En conséquence, notre approche apporte des gains importants aux architectures standards pour la classification d'images, de vidéos et de catégories fines. Par exemple, en exploitant un milliard d'images non étiquetées, notre ResNet-50 appris de manière standard atteint une précision de 81,2% au premier rang sur le banc d'essai ImageNet.