Command Palette
Search for a command to run...
REFRAG 解码框架
REFRAG 是由 Meta Superintelligence Labs 联合新加坡国立大学、莱斯大学于 2025 年 9 月提出的,相关研究成果发表于论文「REFRAG: Rethinking RAG based Decoding」。
REFRAG 是一个高效的解码框架,通过压缩、感知和扩展来提高检索增强生成(RAG)应用的延迟。 REFRAG 对解码过程进行了多项创新性改进:它不再使用检索到的段落中的 token 作为输入,而是利用预先计算并压缩的片段嵌入作为近似表示,将这些嵌入直接输入解码器。 因此,REFRAG 在最大程度上减少了对计算密集型 token 嵌入的依赖,在 RAG 设置中将大部分查询块进行压缩。