Wir stellen REPLUG vor, ein retrivierte erweiterte Sprachmodellierungsrahmen, der das Sprachmodell (LM) als Blackbox betrachtet und es mit einem einstellbaren Retriever-Modell erweitert. Im Gegensatz zu früheren retrivierten erweiterten Sprachmodellen, die besondere Kreuzaufmerksamkeitsmechanismen zur Kodierung des abgerufenen Textes in den Sprachmodellen trainieren, fügt REPLUG einfach die abgerufenen Dokumente dem Eingabedatensatz für das gefrorene Blackbox-Sprachmodell hinzu. Diese einfache Designentscheidung kann leicht auf alle bestehenden Retriever- und Sprachmodelle angewendet werden. Darüber hinaus zeigen wir, dass das Sprachmodell verwendet werden kann, um den Retriever-Modell zu überwachen, der dann Dokumente findet, die dem Sprachmodell helfen, bessere Vorhersagen zu treffen. Unsere Experimente belegen, dass REPLUG mit dem eingestellten Retriever die Leistung von GPT-3 (175B) bei der Sprachmodellierung um 6,3 % verbessert sowie die Leistung von Codex bei der fünf-schuss-MMLU (Multiple-Choice Multi-Hop Look-Up) um 5,1 %.