HyperAIHyperAI

Command Palette

Search for a command to run...

DAQIRI aktiviert Echtzeit-KI für schnelle Datenerfassung

NVIDIA hat mit DAQIRI (Data Acquisition for Integrated Real-time Instruments) eine neue Architektur für den Hochgeschwindigkeits-Datenzugriff in Wissenschaft und Industrie vorgestellt. Das Framework adressiert das fundamentale Problem moderner Sensorsysteme und Detektoren, die Datenströme mit Hunderten von Gigabit pro Sekunde erzeugen, die herkömmliche Sammeln-Speichern-Analysieren-Pipelines überfordern. DAQIRI verschiebt den Datenzugriff von einer starren, hardwarebasierten Struktur zu einer flexiblen, softwaredefinierten Lösung und ermöglicht so die Echtzeitverarbeitung direkt am Entstehungsort der Daten. Technisch basiert DAQIRI auf einer Hochleistungsvernetzungsbibliothek, die vollständig auf den Linux-Kernel verzichtet und über das Data Plane Development Kit (DPDK) eine Kernel-Bypass-Architektur implementiert. Dadurch entfällt die traditionelle Protokollstapel-Verarbeitung, und Daten werden via GPUDirect mit Nullkopie direkt von der ConnectX-Netzwerkkarte in die DMA-Puffer der GPU übertragen. Dies minimiert Latenz und CPU-Last erheblich und sichert Datenraten von bis zu mehreren hundert Gigabit pro Sekunde bei UDP- und RoCE v2-Traffic. Für Entwickler wird die Komplexität abstrahiert: Mittels konfigurierbarer YAML-Dateien sowie C++- und Python-APIs lassen sich Empfangsquellen, GPU-Speicherbereiche und Filterregeln definieren. DAQIRI assembliert ankommende Netzwerkpakete automatisch zu GPU-fähigen Tensoren, übernimmt während des Reorderings Formatkonvertierungen etwa von int4 nach fp16 und übergibt die Batch-Daten direkt an nachgelagerte KI-Modelle oder CUDA-Kernel. Das System ist in die NVIDIA-Holoscan-Plattform integriert und streamt nahtlos in TensorRT für Echtzeit-Inferenz sowie nvCOMP für Streaming-Kompression. Ein zentrales Anwendungsbeispiel liefert das CERN, das DAQIRI im Rahmen des A-GHOST-Projekts für das Upgrade des ATLAS-Detektors am Hochluminositäts-LHC einsetzt. Da auch bei gesteigerter Bandbreite über 99 Prozent der Kollisionsdaten online verworfen werden, analysiert das Projekt mithilfe von Faltungsautoencodern und Transformern den gesamten Rohdatenstrom in Echtzeit. Edge-Server wie der DGX Spark oder IGX-Plattformen führen dabei KI-Inferenzen direkt neben der FPGA-basierten Detektorhardware durch. Mit DAQIRI verschiebt sich der Fokus von einer passiven Datenspeicherung hin zu einem adaptiven, KI-gestützten Datenfluss. Forscher und Instrumentenbauer können Filterung, Ereignisauswahl und Kompression direkt im Stream durchführen, wodurch die Last auf übergeordnete HPC-Rechenzentren sinkt und die Zykluszeit von der Datenerfassung bis zur wissenschaftlichen Erkenntnis erheblich verkürzt wird. Die Implementierung ist über GitHub sowie offizielle Dokumentation und Benchmark-Daten öffentlich zugänglich.

Verwandte Links

DAQIRI aktiviert Echtzeit-KI für schnelle Datenerfassung | Aktuelle Beiträge | HyperAI