Nous présentons REPLUG, un cadre de modélisation linguistique augmentée par la recherche qui traite le modèle de langage (LM) comme une boîte noire et le renforce avec un modèle de recherche ajustable. Contrairement aux modèles de langage augmentés par la recherche précédents, qui entraînent les modèles de langage avec des mécanismes d'attention croisée spéciaux pour encoder le texte récupéré, REPLUG ajoute simplement les documents récupérés au début de l'entrée pour le modèle de langage boîte noire figé. Cette conception simple peut être facilement appliquée à tout modèle existant de recherche et de langage. De plus, nous montrons que le modèle de langage peut être utilisé pour superviser le modèle de recherche, qui peut ensuite trouver des documents aidant le modèle de langage à faire de meilleures prédictions. Nos expériences démontrent que REPLUG, associé au récupérateur ajusté, améliore significativement les performances du GPT-3 (175B) en modélisation linguistique, avec une augmentation de 6,3 %, ainsi que les performances du Codex sur MMLU à cinq exemples par tâche, avec une augmentation de 5,1 %.