Les grands modèles linguistiques (LLM), tels que GPT-4 et Llama 2, font preuve d’une compétence remarquable dans un large éventail de tâches de traitement du langage naturel (NLP). Malgré leur efficacité, les coûts élevés associés à leur utilisation posent un défi significatif. Nous proposons LlamBERT, une approche hybride qui exploite les LLM pour étiqueter un sous-ensemble restreint de grandes bases de données non étiquetées, puis utilise ces étiquetages pour ajuster finement des encodeurs de type transformer tels que BERT et RoBERTa. Cette stratégie est évaluée sur deux jeux de données diversifiés : le jeu de données des critiques IMDb et le Meta-Thésaurus UMLS. Nos résultats indiquent que l’approche LlamBERT entraîne une légère diminution de la précision, tout en offrant une bien meilleure efficacité coûts.