SearchInstruct : Amélioration de l’adaptation de domaine grâce à la création de jeux de données d'instructions basée sur la récupération

Le fine-tuning supervisé (SFT) est essentiel pour l'entraînement des grands modèles linguistiques (LLM), permettant une amélioration significative de capacités critiques telles que le suivi d'instructions et l'apprentissage en contexte. Néanmoins, la création de jeux de données d'entraînement adaptés à des domaines spécifiques reste un défi, en raison de contraintes propres à ces domaines et de la rareté des données disponibles. Dans cet article, nous proposons SearchInstruct, une méthode innovante conçue explicitement pour construire des jeux de données d'instructions de haute qualité destinés au SFT. Notre approche part d’un ensemble limité de questions humaines spécifiques au domaine, lesquelles sont systématiquement étendues à l’aide d’un grand modèle linguistique. Ensuite, des ressources pertinentes au domaine sont récupérées dynamiquement afin de générer des réponses précises et contextuellement appropriées pour chaque question amplifiée. Une évaluation expérimentale montre que SearchInstruct améliore à la fois la diversité et la qualité des jeux de données SFT, entraînant des progrès mesurables dans les performances des LLM au sein de domaines spécialisés. En outre, nous démontrons que, au-delà de la génération de jeux de données, la méthode proposée peut également faciliter efficacement des tâches telles que l’édition de modèles, permettant des mises à jour rapides des modèles existants. Pour favoriser la reproductibilité et l’adoption par la communauté, nous fournissons des détails complets d’implémentation, l’ensemble complet des paires instruction-réponse générées, ainsi que le code source dans un dépôt Git public : https://github.com/mostafaamiri/SearchInstruct.