Vektordatenbanken (Vector Databases) sind Speichersysteme für Einbettungsvektoren (Embeddings), die auf Indexierung und Suche spezialisiert sind. Sie beantworten effizient die Frage „Welche Vektoren sind der Abfrage am ähnlichsten?“ und werden häufig für semantische Suche, Empfehlungen, Deduplizierung und multimodale Suche eingesetzt. Sie sind auch eine gängige Grundkomponente für Retrieval-Augmented Generation (RAG)-Anwendungen. Ihr Verhältnis zu traditionellen Datenbanken ist nicht ausschließend: Einige relationale Datenbanken und Suchmaschinen unterstützen bereits Vektortypen, Ähnlichkeitsabfragen oder Vektorindizes.

Dieses Feld ist nicht aus dem Nichts entstanden: Die auf Embeddings basierende Suche hat eine lange Forschungsgrundlage, und die Geschichte der Ähnlichkeitssuche ist noch älter. Frühe Systeme integrierten Vektorindizes oft in relationale Datenbanken oder Suchsysteme. Das Zilliz-Team stellte in einem SIGMOD-Paper von 2021 《Milvus: A Purpose-Built Vector Data Management System》 das Design eines auf Vektordatenverwaltung spezialisierten Systems vor. Eine Übersicht aus dem Jahr 2023 《Survey of Vector Database Management Systems》 analysierte diese Produktkategorie und wies darauf hin, dass es damals bereits über 20 kommerzielle Vektor-Datenbanksysteme gab; dies bedeutet jedoch nicht, dass alle diese Systeme nach 2021 entstanden sind.

Unabhängig davon, ob es sich um Milvus handelt, das 2019 als Open Source veröffentlicht wurde, oder um die vielen nachfolgenden ähnlichen Systeme, müssen sie sich einer Reihe gemeinsamer technischer Herausforderungen stellen. Solche Systeme müssen fünf Hürden überwinden: die Unschärfe der semantischen Ähnlichkeit, die große Datenmenge der Vektoren, die hohen Kosten der Ähnlichkeitsberechnung, das Fehlen natürlicher Partitionen sowie hybride Abfragen, die „Attributbedingungen + Vektorähnlichkeit“ kombinieren. Die entsprechenden Engineering-Lösungen umfassen die Reduzierung von Speicher- und Berechnungskosten durch Quantisierungskompression, die Beschleunigung der Nachbarschaftssuche durch Graphenindizes (wie HNSW) sowie die Handhabung von Filterung und Aggregation durch Abfrageoptimierung und Execution Engines. In großskaligen Szenarien verwenden Systeme häufig Approximate Nearest Neighbor (ANN)-Indizes, um einen Kompromiss zwischen Recall-Rate und Latenz zu finden; da die Vektorsuche jedoch auch exakte Suche nutzen kann, ist die Annahme, dass „Vektorindizes zwingend approximativer Natur sind“, nicht korrekt. Im Jahr 2023 bot die Übersicht von Pan, Wang und Li 《Survey of Vector Database Management Systems》 eine systematische Analyse dieser Produktkategorie. Genau diese ingenieurtechnische Akkumulation hat „Semantik“ von einem vagen Konzept in eine indexierbare und skalierbare Infrastruktur verwandelt.