GPU-residentes Top-K für Agentic RAG eliminiert PCIe-Latenz durch maßgeschneiderten CUDA-Kernel Eine neue Softwarearchitektur adressiert ein kritisches Leistungsproblem in Agentic-RAG-Pipelines, indem sie Vektorsuchen komplett auf der GPU ausführt. Konventionelle Systeme transferieren nach der Embedding-Generierung Abfragen an den Host-Rechner, wo die Ähnlichkeitssuche auf der CPU stattfindet und die Ergebnisse anschließend zurück auf die Grafikkarte gesendet werden. Dieser PCIe-Roundtrip erzeugt erhebliche Latenzen, lässt die GPU während des Suchvorgangs jedoch weitgehend untätig. Die vorgestellte Lösung umgeht dieses Problem, indem der gesamte Dokumenten-Korpus einmalig im VRAM gespeichert wird und alle Rechenoperationen vollständig auf dem Grafikprozessor ablaufen. Der Kernel-Code nutzt eine effiziente Parallelinisierung: Jeder Block berechnet eine lokale Teilliste der besten Kandidaten, bevor ein nachgelagerter Schritt alle lokalen Ergebnisse zu einem globalen Top-K-Ergebnis zusammenführt. Lediglich die minimale Embedding-Abfrage und die finalen K-Ergebnisse werden über die PCIe-Schnittstelle ausgetauscht. Die Implementierung verzichtet bewusst auf komplexe externe Abhängigkeiten und priorisiert Auditierbarkeit sowie deterministische Vergleichslogik bei identischen Punkteständen. Benchmarks auf einer NVIDIA GeForce GTX 1080 belegen die Effizienz des Ansatzes. Im Vergleich zu einer optimierten CPU-Baseline erzielt der GPU-residente Pfad bei einer Suche nach den acht ähnlichsten Vektoren Geschwindigkeitssteigerungen von bis zu 8,57-fach. Dieser Vorteil gilt konsistent über verschiedene Korpusgrößen bis zu einer Million Einträge und Dimensionslängen von 384 bis 1024. Bei einer Anforderung von 32 Kandidaten dominiert die Architektur in 13 von 15 Konfigurationen. Das System stößt jedoch bei größeren K-Werten an Grenzen: Für 100 Kandidaten überholt das CPU-System in den meisten Tests den Kernel, da die eingebaute Sortierlogik für Single-Thread-Blöcke hier rechnerisch ineffizient wird. Dies wurde als bewusste Entscheidung für Code-Nachvollziehbarkeit vor einer zukünftigen Optimierung mittels warpspezialisierter Algorithmen dokumentiert. Der Entwickler positioniert die Arbeit als dritten Teil einer Serie zur Optimierung agenticer LLM-Pipelines. Parallelen werden zu 5G-Netzwerken gezogen, wo ähnliche Top-K-Entscheidungen in der Basisband-Signalverarbeitung für die Strahlauswahl in Echtzeit getroffen werden. Der Code ist öffentlich verfügbar und enthält einen vollständigen Benchmark-Sweep sowie Bauanweisungen für Linux- und CUDA-Systeme. Als Ausblick kündigt der Autor den vierten Teil der Reihe an, der sich der Persistenz von Agenten-Zuständen über mehrere Verarbeitungsschritte hinweg widmen wird, um die kalte Startphase bei Agenten-Übergängen zu eliminieren.