Startups mieten Gaming-PCs für KI-Inferenz

Mehrere Startups initiieren derzeit den Aufbau dezentraler Märkte, um ungenutzte Consumer-Grafikkarten für KI-Inferenz-Aufgaben zu vermieten. Die Plattformen Far Labs aus Abu Dhabi und Evolving Edge aus Austin konzipieren ihr Angebot analog zu Sharing-Ökonomien wie Airbnb oder Uber, jedoch für verteilte Rechenleistung. Während Evolving Edge bereits in einer offenen Betaphase operiert, plant Far Labs die Markteinführung der Far AI-Plattform in den kommenden Wochen. Beide Unternehmen richten ihren Fokus auf kleinere, quelloffene Sprachmodelle und positionieren sich als Ergänzung zu etablierten Anbietern wie dem in Utah ansässigen Salad-Netzwerk, das bereits über sechzigtausend aktive Consumer-GPUs verfügt. Die technische Umsetzung basiert auf der Aufteilung komplexer Modelle über mehrere Endgeräte hinweg. Far Labs setzt hierbei auf einen proprietären Scheduler sowie Load Balancer zur Wiedervereinigung der Teilergebnisse, während Evolving Edge auf das Open-Source-Framework Ray zurückgreift. Um Sicherheitsbedenken hinsichtlich fremder Workloads auf privaten Maschinen auszuräumen, setzen beide Anbieter auf strenge Isolationstechniken. Die Inferenzprozesse laufen in gesicherten Sandboxes mit verschlüsselter Kommunikation und strikten Ressourcenbegrenzungen ab, wodurch direkter Zugriff auf das Host-System verhindert wird. Evolving Edge hat seine Knoten-Software zudem quelloffen veröffentlicht, um Transparenz für Nutzer zu gewährleisten. Trotz der technischen Versprechen bleibt die Wirtschaftlichkeit für Hardwarebesitzer weiterhin fraglich. Erste Daten des Marktführers Salad deuten darauf hin, dass die Auszahlungen an die Bereitsteller lediglich einen kleinen Bruchteil der Endkundenpreise ausmachen. Bei hohem Stromverbrauch leistungsstarker Consumer-Hardware, wie beispielsweise der RTX 4090 mit monatlich rund vierzig bis fünfzig US-Dollar, kann die Rendite leicht ins Negative rutschen. Detaillierte Auszahlungsmodelle der neuen Plattformen liegen bisher nicht vor. Als strategischen Vorteil werben die Gründer die höhere Ausfallsicherheit dezentraler Netzwerke gegenüber zentralisierten Cloud-Infrastrukturen. Ausfälle einzelner Knoten hätten keinen kritischen Gesamtzusammenbruch zur Folge, was insbesondere bei großflächigen Provider-Störungen von Bedeutung ist. Gleichzeitig konfrontieren die Vorhaben die Branche mit einem anhaltenden Glaubwürdigkeitsdefizit. Vergleichbare Projekte im Kryptobereich haben bereits gezeigt, dass vorgeblich KI-Computing oft nur Rechenpower für mathematische Platzhalterprozesse bündelt, ohne nutzbare Modelle zu trainieren oder zu inferieren. Far Labs und Evolving Edge adressieren dieses Problem durch echte Kundenworkloads, dennoch bleiben ihre Angaben zu Latenzzeiten unter einhundert Millisekunden und zu Kosteneffizienz vorerst spekulativ. Die Rentabilität und technische Stabilität der dezentralen KI-Infrastrukturen wird sich erst im Produktiveinsatz unter realer Last beweisen müssen.