Mining-Rig liefert 54GB VRAM für lokale KI-Modelle

Ein russischer Technikbegeisterte hat kürzlich eine gebrauchte Cryptocurrency-Mining-Station aus einer Garage erworben und dabei ein ungewöhnliches Ergebnis erzielt. Der Reddit-Nutzer markpronkin erwarb das alte System für 3.000 Rubel, was etwa 35 US-Dollar entspricht, ohne das Gerät vorab auf Funktionalität zu prüfen. Trotz des verrosteten Zustands und der anfänglichen Unsicherheit von Käufer und Verkäufer erwiesen sich alle neun verbauten Nvidia P106-100-Grafikprozessoren auf Anhieb als voll funktionsfähig. Die Hardware stellt insgesamt 54 Gigabyte VRAM bereit, was einem durchschnittlichen Preis von rund 65 Cent pro Gigabyte Speicher entspricht. Die erste praktische Erprobung diente der Validierung der Hardware für lokale KI-Inferenz. Mittels der Open-Source-Lösung Ollama wurde das 35-Milliarden-Parameter-Modell Qwen3.6-35B-A3B erfolgreich lokal ausgeführt. Die Durchsatzrate lag mit über 30 Tokens pro Sekunde deutlich innerhalb eines nutzbaren Rahmens und bestätigte die Eignung der seit 2017 produzierten GPUs für den Einsatz moderner Sprachmodelle. Der erfolgreiche Test unterstreicht das Potenzial gebrauchter Hardware für den Aufbau kostengünstiger Inferenz-Infrastrukturen. Während Cloud-basierte KI-Dienste oft mit hohen Betriebskosten verbunden sind, demonstriert der Fall, wie sich durch den gezielten Einsatz älterer Grafikprozessoren leistungsfähige lokale Systeme realisieren lassen. Die P106-100, ursprünglich als Mining-Beschleuniger konzipiert, bietet mit ihrer VRAM-Ausstattung und der standardisierten Anbindung eine solide Basis für ressourcenschonende AI-Anwendungen. Die Entwicklung weist auf eine wachsende Nachfrage nach preisgünstigen Compute-Ressourcen hin, die primär durch die Entwickler-Community vorangetrieben wird. Der experimentelle Aufbau belegt, dass die Grenzen von KI-Hardware nicht ausschließlich durch Neuentwicklungen definiert werden. Auch ältere Generationen erbringen durch optimierte Software-Stacks und effiziente Modellarchitekturen weiterhin hohe Leistung. Für Entwickler und Enthusiasten stellt dies eine praktische Bestätigung dar, dass der Einstieg in das lokale Runnen von Large Language Models nicht zwangsläufig teure Enterprise-GPUs erfordert, sondern durch pragmatischen Hardware-Einsatz ermöglicht wird.