La classification à faibles échantillons (few-shot classification) consiste en l'apprentissage d'un modèle prédictif capable de s'adapter efficacement à une nouvelle classe, avec seulement quelques exemples annotés. Pour résoudre ce problème ardu, l'apprentissage métadynamique (meta-learning) est devenu un paradigme populaire qui prône la capacité à "apprendre à s'adapter". Cependant, des travaux récents ont montré que des stratégies d'apprentissage simples, sans recours à l'apprentissage métadynamique, pouvaient être compétitives. Dans cet article, nous allons plus loin et démontrons qu'en abordant le problème fondamental de la variance élevée des classifieurs à faibles échantillons, il est possible de surpasser significativement les techniques actuelles d'apprentissage métadynamique. Notre approche consiste à concevoir un ensemble de réseaux profonds pour exploiter la variance des classifieurs, tout en introduisant de nouvelles stratégies pour encourager la coopération entre les réseaux et favoriser la diversité des prédictions. L'évaluation est réalisée sur les jeux de données mini-ImageNet et CUB, où nous montrons que même un seul réseau obtenu par distillation produit des résultats de pointe (state-of-the-art).