HyperAIHyperAI

Command Palette

Search for a command to run...

GPU-Presto beschleunigt Analysen auf GB200 NVL72

GPU-beschleunigtes Presto setzt neue Maßstäbe bei der Verarbeitung analytischer Workloads. Durch die Integration von NVIDIA cuDF und NVLink-5.0-Technologie nutzt die verteilte SQL-Engine nun die volle Rechenleistung moderner GPUs aus. Tests auf Einzelknotensystemen wie dem NVIDIA DGX B200 belegen erhebliche Latenzvorteile im Vergleich zu klassischen CPU-Clustern. Bei Testdatenmengen von rund einer Terabyte beschleunigte die GPU-Variante mit einem einzigen B200-Chip die Laufzeiten um das 2,5-Fache gegenüber einem acht-Knoten-CPU-Cluster. Mit acht parallel betriebenen GPUs stieg der Vorteil auf das 8,2-Fache. Bei größeren Datensätzen im drei-Terabyte-Maßstab hielt sich die Spannbreite der Beschleunigung zwischen dem Dreifachen und dem Achtfachen. Die Skalierbarkeit über mehrere Knoten wurde auf der NVIDIA GB200 NVL72-Architektur validiert. Das System kombiniert bis zu 18 Rechenknoten, die über NVLink und ConnectX-7-Netzwerkkarten vernetzt sind. In Kombination mit dem IBM Storage Scale Filesystem zeigte die Architektur erhebliches Optimierungspotenzial. Erste Testläufe mit herkömmlichen POSIX-Lesezugriffen und unausgereiften Kommunikationsparametern dienten als Ausgangsbasis. Durch die Aktivierung von NVIDIA GPUDirect Storage, die Vergrößerung der I/O-Blöcke auf 16 MiB und den Einsatz von sechzehn parallelen I/O-Threads ließ sich die Übertragungsrate signifikant steigern. Zusätzliche Optimierungen im Scheduling durch Rebatching sowie eine Anpassung der Query-Logik reduzierten die Leerlaufzeiten der Grafikkarten weiter. Insgesamt resultierten diese Maßnahmen in einer Laufzeitverkürzung von bis zu 64 Prozent. Besonders deutlich zeigte sich der Vorteil bei der Query 11, die durch eine Umstellung von einer SELECT- auf eine INSERT-Operation von 50 Sekunden auf zwei Sekunden beschleunigt wurde. Eine entscheidende Rolle bei der Performance spielt NVIDIA GPUDirect Storage in Verbindung mit IBM Storage Scale. GDS ermöglicht einen direkten Datenpfad von der Storage-Hardware in den GPU-Speicher und umgeht dabei die Umwege über den Host-CPU und den Systemspeicher. Dies eliminiert die Latenz durch Bounce-Buffer-Kopien und NUMA-Überschreitungen, die bei klassischen POSIX-Lesemethoden auftreten. Tests belegen, dass GDS-Lesezugriffe bei Zwei-Knoten-Konfigurationen etwa doppelt so schnell arbeiten wie herkömmliche, gepufferte Leseprozesse. Für den produktiven Einsatz steht die GPU-beschleunigte Presto-Integration nun in der technischen Vorschau von IBM watsonx.data bereit. Entwickler können die Software zudem über offizielle Docker-Repositories testen. Die Kombination aus nativer GPU-Verarbeitung, optimierten I/O-Pfaden und hochperformanter Speicherhardware ermöglicht es Unternehmen, interaktive Analysen und nächtliche Datenjobs mit bisher unerreichter Geschwindigkeit und Ressourceneffizienz durchzuführen. Die Ergebnisse unterstreichen den Paradigmenwechsel hin zu reinen GPU-Workflows in der verteilten Datenverarbeitung, wobei kontinuierliche Verbesserungen im Worker-to-Coordinator-Kommunikationslayer angestrebt werden, um auch bei reinen Ausgabelasten hohe Auslastungsraten zu garantieren.

Verwandte Links

GPU-Presto beschleunigt Analysen auf GB200 NVL72 | Aktuelle Beiträge | HyperAI