Les grands modèles linguistiques sont des outils polyvalents, mais ils ne conviennent pas aux budgets d'inférence restreints. Les petits modèles, quant à eux, offrent une inférence plus efficace, mais leur capacité réduite implique que leurs performances ne sont satisfaisantes que si l'on limite leur champ d'application à un domaine spécialisé. Ce papier explore comment obtenir de bons petits modèles linguistiques spécialisés à partir d'un grand ensemble de préentraînement générique et d'une quantité limitée de données spécialisées. Nous considérons deux scénarios, selon qu'il est (i) possible de préentraîner un modèle pour chaque tâche de spécialisation, ou (ii) on souhaite adapter de manière économique un seul modèle préentraîné à chaque tâche. Dans le premier scénario, nous proposons une solution efficace basée sur un échantillonnage par importance : nous rééchantillonnons l'ensemble de préentraînement afin de reproduire la distribution des données spécialisées, puis entraînons un petit modèle sur cet ensemble révisé. Dans le second scénario, nous proposons une nouvelle architecture, les réseaux projetés (projected networks, PN). Les PN constituent un grand réseau dont les paramètres peuvent être linéairement projetés dans un petit réseau pour la spécialisation. Pour les deux scénarios, nous démontrons empiriquement l'efficacité de nos solutions sur divers domaines, tailles d'ensemble d'entraînement et budgets d'entraînement.