ベクトルデータベース（Vector Database）は、埋め込みベクトルの保存、インデックス作成、検索を目的としたシステムであり、「クエリに最も類似したベクトルはどれか」という問いに答えることに優れています。セマンティック検索、レコメンデーション、重複排除、マルチモーダル検索などに一般的に使用され、検索拡張生成（RAG）アプリケーションの一般的な基盤コンポーネントでもあります。従来のデータベースとの関係は二者択一ではありません。一部の relational データベースや検索エンジンも、ベクトル型、類似度クエリ、ベクトルインデックスをサポートしています。

この分野は突然現れたものではありません。埋め込みに基づく検索には長い研究の歴史があり、類似度検索の歴史はさらに古く、初期のシステムではベクトルインデックスを relational データベースや検索システムに統合するのが一般的でした。Zilliz チームは 2021 年、SIGMOD 論文《Milvus: A Purpose-Built Vector Data Management System》で、ベクトルデータ管理に向けたシステム設計を紹介しました。2023 年のサーベイ《Survey of Vector Database Management Systems》ではこのカテゴリーを整理し、当時すでに 20 以上の商用ベクトルデータベースシステムが存在していたことを指摘していますが、これらはすべて 2021 年以降に登場したという意味ではありません。

しかし、2019 年にオープンソース化された Milvus も、その後続々と登場した同種のシステムも、共通の技術的課題に直面しています。これらのシステムは、意味的類似性の曖昧性、ベクトルの大きなサイズ、類似度計算のコストの高さ、天然のパーティションの欠如、そして「属性条件＋ベクトル類似性」のハイブリッドクエリという 5 つのハードルを越えなければなりません。対応するエンジニアリング手法には、量子化圧縮によるストレージおよび計算コストの低減、グラフインデックス（HNSW など）による近傍検索の高速化、フィルタリングや集計を処理するためのクエリ最適化と実行エンジンなどが含まれます。大規模なシナリオでは、システムは近似最近傍（ANN）インデックスを採用し、リコール率とレイテンシの間でトレードオフを行うことが一般的ですが、ベクトル検索は精密検索も使用できるため、「ベクトルインデックスは必ず近似である」というのは正確ではありません。2023 年、Pan、Wang、Li によるサーベイ《Survey of Vector Database Management Systems》では、このカテゴリーを体系的に整理しました。これらのエンジニアリングの蓄積こそが、「意味」を曖昧な概念から、インデックス可能で拡張可能なインフラへと変えたのです。

[JIALIU_0]