Dense Retriever는 혁신적인 자기지도 학습 프레임워크인 Revela의 핵심 최적화 구성 요소입니다. 이 프레임워크는 다름슈타트 공과대학교, 워싱턴 대학교, 카네기멜론 대학교, 마이크로소프트, 텐센트 AI 연구소의 공동 연구팀이 제안했으며, 관련 연구 결과는 논문으로 발표되었습니다. Revela: 언어 모델링을 통한 고밀도 리트리버 학습이 내용은 ICLR 2026에 채택되었습니다.

고차원 검색 엔진의 핵심 메커니즘은 쿼리와 문서를 고차원 벡터 공간에 매핑한 다음, 벡터 유사도를 계산하여 콘텐츠 관련성을 판단하는 것입니다. 이를 통해 언어 모델은 외부 전문 지식을 습득할 수 있습니다. 기존에는 고품질 고차원 검색 엔진을 학습시키기 위해 비용이 많이 드는 수동 레이블링된 쿼리-문서 데이터에 크게 의존했기 때문에 코딩과 같은 복잡한 전문 분야에서 대규모로 적용하기 어려웠습니다. Revela의 최신 연구에서는 고차원 검색 엔진이 이러한 병목 현상을 완전히 극복했습니다. 언어 모델의 "다음 단어 예측" 작업에 고차원 검색 엔진을 통합하고, 문서 간 상호 작용 메커니즘을 도입하여 공동으로 최적화했습니다. 실험 결과, 레이블링된 데이터 없이 학습된 이 고차원 검색 엔진은 특정 도메인 및 복잡한 추론 작업에서 더 큰 파라미터 크기를 가진 지도 학습 모델보다 우수한 성능을 보일 뿐만 아니라, 매우 낮은 데이터 및 계산 비용으로 일반 도메인에서도 최첨단(SOTA) 성능을 달성하는 것으로 나타났습니다.