L'apprentissage rapide à partir de très peu d'échantillons étiquetés est une caractéristique fondamentale qui distingue les machines des humains dans l'ère de l'apprentissage profond des représentations. L'apprentissage non supervisé par few-shot (U-FSL) vise à combler cet écart en abandonnant la dépendance aux annotations lors de l'entraînement. Fascinés par le succès des approches d'apprentissage par contraste dans le domaine de l'U-FSL, nous abordons structurellement leurs lacunes à la fois lors des phases de pré-entraînement et d'inférence en aval. Nous proposons un nouveau module de Mémoire Dynamiquement Regroupée (DyCE) pour favoriser un espace de représentation latente hautement séparable, améliorant ainsi l'échantillonnage positif lors de la phase de pré-entraînement et intégrant des informations implicites au niveau des classes dans l'apprentissage par contraste non supervisé. Nous abordons ensuite le problème, quelque peu négligé mais crucial, du biais d'échantillonnage lors de la phase d'inférence few-shot. Nous proposons une stratégie itérative d'Alignement de Distribution basée sur le Transport Optimal (OpTA) et démontrons qu'elle résout efficacement ce problème, particulièrement dans les scénarios low-shot où les approches FSL souffrent le plus du biais d'échantillonnage. Nous discutons ensuite que DyCE et OpTA sont deux éléments intimement liés d'une nouvelle approche bout-en-bout (que nous nommons BECLR), amplifiant mutuellement leur impact. Enfin, nous présentons une série d'expériences quantitatives et qualitatives exhaustives pour confirmer que BECLR établit un nouveau standard dans tous les benchmarks existants en U-FSL (à notre connaissance), et surpasse significativement les meilleures bases actuelles (le code source est disponible à : https://github.com/stypoumic/BECLR).