REFRAG wurde im September 2025 von Meta Superintelligence Labs in Zusammenarbeit mit der National University of Singapore und der Rice University vorgeschlagen. Die entsprechenden Forschungsergebnisse wurden in dem Artikel „REFRAG: RAG-basierte Dekodierung neu denken".

REFRAG ist ein effizientes Dekodierungsframework, das die Latenz für Retrieval-Augmented Generation (RAG)-Anwendungen durch Komprimierung, Perzeption und Expansion verbessert. REFRAG führt mehrere innovative Verbesserungen im Dekodierungsprozess ein: Anstatt Token aus abgerufenen Passagen als Eingabe zu verwenden, nutzt es vorkalkulierte und komprimierte Segmenteinbettungen als ungefähre Darstellungen und speist diese Einbettungen direkt in den Decoder ein. Dadurch minimiert REFRAG die Abhängigkeit von rechenintensiven Tokeneinbettungen und ermöglicht die Komprimierung der meisten Abfrageblöcke in der RAG-Einstellung.