Command Palette
Search for a command to run...
벡터 데이터베이스(Vector Database)는 임베딩 벡터의 저장, 인덱싱 및 검색을 위한 시스템으로, "어떤 벡터가 쿼리와 가장 유사한가"라는 질문에 답하는 데 특화되어 있습니다. 이는 주로 시맨틱 검색, 추천, 중복 제거 및 멀티모달 검색에 사용되며, 검색 증강 생성(RAG) 애플리케이션의 일반적인 기반 구성 요소이기도 합니다. 이는 전통적인 데이터베이스와 상호 배타적인 관계가 아닙니다. 일부 관계형 데이터베이스와 검색 엔진도 이미 벡터 타입, 유사도 쿼리 또는 벡터 인덱스를 지원하고 있습니다.
이 분야는 갑자기 등장한 것이 아닙니다. 임베딩 기반 검색에는 오랜 연구 기반이 있으며, 유사도 검색의 역사는 더 오래되었습니다. 초기 시스템들은 종종 벡터 인덱스를 관계형 데이터베이스나 검색 시스템에 통합했습니다. Zilliz 팀은 2021년 SIGMOD 논문 《Milvus: A Purpose-Built Vector Data Management System》에서 벡터 데이터 관리를 위한 시스템 설계를 소개했습니다. 2023년 리뷰 논문 《Survey of Vector Database Management Systems》은 이 카테고리를 정리하며, 당시 이미 20개 이상의 상용 벡터 데이터베이스 시스템이 존재했음을 지적했습니다. 이는 이러한 시스템들이 모두 2021년 이후에 등장했다는 의미는 아닙니다.
그러나 2019년에 오픈소스로 공개된 Milvus이든, 그 이후로 등장한 수많은 유사 시스템이든 모두 공통적인 기술적 난제에 직면해 있습니다. 이러한 시스템들은 다섯 가지 주요 허들을 넘어야 합니다: 시맨틱 유사성의 모호성, 벡터의 대형화, 유사도 계산의 고비용, 자연스러운 파티셔닝의 부재, 그리고 '속성 조건 + 벡터 유사도'의 하이브리드 쿼리 처리입니다. 이에 대응하는 공학적 수단으로는 양자화 압축을 통한 저장 및 계산 오버헤드 감소, 그래프 인덱스(예: HNSW)를 활용한 근접 이웃 검색 가속, 필터링 및 집계를 처리하기 위한 쿼리 최적화 및 실행 엔진 등이 포함됩니다. 대규모 시나리오에서는 시스템이 종종 근사 최근접 이웃(ANN) 인덱스를 사용하여 재현율(recall)과 지연 시간(latency) 사이의 트레이드오프를 취하지만, 벡터 검색은 정확한 검색(exact search)도 사용할 수 있으므로 "벡터 인덱스는 반드시 근사적이어야 한다"는 주장은 정확하지 않습니다. 2023년 Pan, Wang 및 Li의 리뷰 논문 《Survey of Vector Database Management Systems》은 이 카테고리를 체계적으로 정리했습니다. 바로 이러한 공학적 축적들이 '시맨틱'을 모호한 개념에서 인덱싱되고 확장 가능한 인프라로 변화시켰습니다.