Command Palette
Search for a command to run...
REFRAG 디코딩 프레임워크
REFRAG는 2025년 9월 싱가포르 국립대학교와 라이스대학교와 협력하여 Meta Superintelligence Labs에서 제안했습니다. 관련 연구 결과는 논문 "REFRAG: RAG 기반 디코딩 재고".
REFRAG는 압축, 인식 및 확장을 통해 검색 증강 생성(RAG) 애플리케이션의 지연 시간을 개선하는 효율적인 디코딩 프레임워크입니다. REFRAG는 디코딩 프로세스에 몇 가지 혁신적인 개선 사항을 도입했습니다. 검색된 구절의 토큰을 입력으로 사용하는 대신, 미리 계산되고 압축된 세그먼트 임베딩을 근사 표현으로 활용하여 이러한 임베딩을 디코더에 직접 제공합니다. 결과적으로 REFRAG는 계산 집약적인 토큰 임베딩에 대한 의존도를 최소화하여 대부분의 쿼리 블록을 RAG 설정에서 압축할 수 있습니다.