Der Entwickler jamesob hat auf GitHub eine detaillierte Anleitung zum lokalen Betrieb modernster Large Language Models veröffentlicht. Die Publikation bietet einen praxisorientierten Leitfaden, um proprietäre KI-Dienste durch eigenhostete, Open Source Systeme zu ersetzen. Das Repository gliedert sich in zwei Budgetpfade: Für rund 2.000 US Dollar wird ein Setup mit zwei RTX 3090 Karten beschrieben, das bereits aktuelle Modelle wie Qwen und leistungsstarke Spracherkennungssysteme effizient betreibt. Für High End Anwendungen bei einem Budget von etwa 40.000 US Dollar empfiehlt der Autor den Einsatz von vier NVIDIA RTX PRO 6000 Grafikkarten mit insgesamt 384 Gigabyte VRAM. Diese Konfiguration erlaubt die Inferenz von Modellen mit bis zu 594 Milliarden Parametern und liegt in der Leistungsfähigkeit kommerziellen Spitzenprodukten nahe. Der technische Schwerpunkt liegt in der optimierten Hardware Integration. Anstelle kostenintensiver PCIe 5 oder DDR5 Plattformen wird ein PCIe 4 Switch von c payne.com eingesetzt, der Peer to Peer Datenübertragungen zwischen den Grafikkarten mit nahezu Leitungskapazität ermöglicht. Zur Stabilisierung des Switch Betriebs sind spezifische BIOS Einstellungen sowie Kernel Parameter wie die Deaktivierung der ACS Richtlinien und der IOMMU erforderlich. Dadurch verbleibt der Datenverkehr im Switch Fabric und umgeht den CPU Root Complex. Die Stromversorgung wird durch eine manuelle Leistungsbegrenzung der GPUs auf 350 Watt pro Karte an handelsübliche 110 Volt Anschlüsse angepasst. Auf der Softwareseite kommen Docker Container mit vLLM zum Einsatz, während die Modellgewichte auf einem gespiegelten ZFS Dateisystem lagern. Der Zugriff erfolgt über ein Frontend in einer isolierten Virtuellen Maschine. Die Messungen belegen einen bidirektionalen P2P Durchsatz von bis zu 50,4 Gigabyte pro Sekunde bei Latenzen unter einer halben Mikrosekunde. Die Veröffentlichung unterstreicht, dass mit gezielter Hardware Kuratiertung und Systemoptimierung hochleistungsfähige KI Systeme auch außerhalb von Rechenzentren betriebar sind. Sie bietet Entwicklern und Unternehmen eine solide Grundlage für datenschutzkonforme, anbieterunabhängige KI Infrastrukturen.