NVIDIA und UW-Madison entwickeln GPU-beschleunigten DuckDB-Engine Sirius
NVIDIA und die University of Wisconsin-Madison haben gemeinsam Sirius entwickelt, eine GPU-beschleunigte Erweiterung für das Open-Source-Datenbank-System DuckDB, die nun einen Rekord im ClickBench-Benchmark aufgestellt hat. Sirius ist ein komposabler, GPU-native Ausführungs-Backend, der DuckDBs bewährte Subsysteme wie Parser, Optimizer und Scan-Operatoren beibehält, gleichzeitig aber die Leistung durch GPU-Beschleunigung über NVIDIA CUDA-X-Bibliotheken erheblich steigert. Die Architektur nutzt den universellen Substrait-Formatstandard, um nahtlos mit anderen Datenplattformen zu interagieren, und überträgt Daten zwischen CPU und GPU mittels eines auf Apache Arrow basierenden Formats. Dabei wird die Ergebnisdatenstruktur direkt in cuDF-Tabellen überführt, was eine null-Kopier-Interoperabilität ermöglicht und alle SQL-Operationen – Aggregationen, Projektionen, Joins – auf GPU-Geschwindigkeit ausführen lässt. Nach der Berechnung werden die Ergebnisse zurück an die CPU übertragen und in DuckDB-kompatible Formate konvertiert, sodass Nutzer eine vertraute, aber deutlich schnellere Analyseerfahrung erhalten. In Benchmark-Tests auf einem NVIDIA GH200 Grace Hopper Superchip (Lambda Labs, 1,50 USD/Stunde) erreichte Sirius die beste Leistung in allen ClickBench-Tests – sowohl in absoluter Geschwindigkeit als auch in Kosten-Effizienz. Bei vergleichbaren CPU-only-Instanzen (AWS c6a.metal, c8g.metal-48xl, c7a.metal-48xl) lag die Kosten-Effizienz von Sirius mindestens 7,2-mal höher. Besonders auffällig waren die Ergebnisse bei komplexen Abfragen wie q4, q5 und q18, wo GPU-Beschleunigung durch cuDF signifikante Verbesserungen brachte. Auch bei der anspruchsvollen Regular-Expression-Abfrage q28 zeigte Sirius eine 13-fache Geschwindigkeitssteigerung gegenüber der vorab kompilierten cuDF-API, dank einer JIT-kompilierten String-Transformation, die eine höhere Warp-Auslastung (85 % vs. 32 %) und bessere Datenlokalität ermöglichte. Zukünftig wird das Sirius-Team an der Weiterentwicklung spezifischer Operations-Engpässe arbeiten – etwa bei String-Containment (q23), Top-N-Abfragen (q24, q26) und Aggregationen großer Datensätze (q27). Parallel dazu fördern NVIDIA und die Universität die Entwicklung modularer, interoperabler Bausteine für GPU-Datenverarbeitung nach den MICE-Prinzipien (modular, interoperabel, komposabel, erweiterbar), um die gesamte Open-Source-Analytik-Ökologie zu stärken. Sirius ist unter der permissiven Apache-2.0-Lizenz offen verfügbar und lädt Forscher und Entwickler ein, aktiv am Projekt mitzuwirken. Industrieexperten sehen in Sirius einen Meilenstein für die GPU-Transformation der Datenanalyse: „Sirius zeigt, wie man bestehende, bewährte Systeme mit GPU-Kraft aufrüsten kann, ohne sie neu zu schreiben“, sagt ein Dateninfrastruktur-Experte von einem führenden Cloud-Anbieter. „Die Kombination aus DuckDBs Robustheit und NVIDIA’s GPU-Ökosystem ist ein Schlüssel für die nächste Generation von Datenplattformen.“ Sirius ist damit nicht nur ein technologischer Durchbruch, sondern auch ein Modell für zukünftige, skalierbare und gemeinsam entwickelte Dateninfrastrukturen im Zeitalter der GPU-Computing.
