L’apprentissage peu supervisé vise à exploiter les connaissances acquises par un ou plusieurs modèles d’apprentissage profond afin d’obtenir de bonnes performances de classification sur de nouveaux problèmes, où seuls quelques échantillons étiquetés par classe sont disponibles. Ces dernières années, de nombreuses recherches ont été menées dans ce domaine, introduisant des méthodes aux composantes multiples. Toutefois, un problème fréquent réside dans l’utilisation de modèles entraînés de manière sous-optimale pour extraire ces connaissances, ce qui soulève des questions quant à savoir si les approches proposées apportent réellement un gain par rapport à l’utilisation de modèles initiaux plus performants, sans les ingrédients supplémentaires introduits. Dans ce travail, nous proposons une méthodologie simple, qui atteint ou dépasse les performances de l’état de l’art sur plusieurs benchmarks standardisés du domaine, tout en ajoutant presque aucun hyperparamètre ni paramètre supplémentaire à ceux utilisés pour l’entraînement des modèles initiaux sur un jeu de données générique. Cette méthodologie établit une nouvelle référence (baseline) permettant de proposer (et de comparer de manière équitable) de nouvelles techniques ou d’adapter des méthodes existantes.