Das Framework Mesh LLM adressiert die wachsenden Kosten und die mangelnde Kontrolle bei der Nutzung von Large Language Models, indem es eine dezentrale Recheninfrastruktur bereitstellt. Entwickelt auf Basis des iroh-Netzwerkbibliotheks-Ökosystems, ermöglicht das System das Bündeln von Grafikkapazitäten über mehrere Geräte hinweg, ohne auf zentrale Cloud-Anbieter oder verteuerte API-Abrechnungen angewiesen zu sein. Mesh LLM aggregiert verteilte GPUs und exponiert die gebündelte Rechenleistung als vollständige OpenAI-kompatible Schnittstelle unter localhost:9337/v1. Technisch basiert die Architektur auf einem peer-to-peer-Mesh, in dem jeder Knoten einen iroh-Endpunkt mit öffentlichem Schlüssel betreibt. Diese Struktur umgeht konventionelle Serverinfrastrukturen und nutzt stattdessen QUIC-basierte, authentifizierte Verbindungen mit integrierter NAT-Traversal. Für die Handhabung hochskalierbarer Modelle bis zu 235 Milliarden Parametern implementiert das Framework den Split-Modus Skippy. Dabei werden Modelllayer auf mehrere physische Geräte verteilt und aktivitätsbasiert durch eine Pipeline geleitet. Dadurch können auch Hardware mit begrenztem Arbeitsspeicher schwere Modelle ausführen, die lokal nicht laden würden. Der OpenAI-Client verarbeitet diese Komplexität transparent ohne Anpassungen. Die Netzwerksteuerung erfolgt über ein eigenes Gossip-Protokoll, das auf den iroh-Basisverbindungen aufsetzt. Über eine einzige QUIC-Verbindung werden mehrere durch einleitende Bytes gekennzeichnete Datenströme multiplexed. Diese dienen der Weitergabe von Gerätekapazitäten, dem Routing von Inferenzanfragen, der Verwaltung von Peer-Lebenszyklen sowie der Plugin-Routinierung. Das modulare Plugin-System unterstützt über vierzig vorinstallierte Modelle und erlaubt es Nutzern, eigene Dienste über MCP, HTTP oder Inference-Events anzubinden. Mesh LLM behält dabei die volle Hoheit über die Mesh-Admittanz, Kompatibilitätsprüfungen und Vertrauenslisten. Der Ansatz zielt auf eine Entkopplung von KI-Nutzung und zentralisierter Infrastruktur ab. Unternehmen und Entwickler können Rechenleistung privat im eigenen Netzwerk oder öffentlich im globalen Mesh teilen, was die Abhängigkeit von Cloud-Providern reduziert und datenschutzfreundlichere Workflows ermöglicht. Die Software wiegt lediglich etwa 18 Megabyte und lässt sich schnell in private oder öffentliche Umgebungen integrieren. Zwei redundante iroh-Relays in verschiedenen Regionen gewährleisten zudem eine stabile Konnektivität auch unter eingeschränkten Netzwerkbedingungen. Ausgebaut wird das System um eine mobile Anwendung auf Basis der iroh-Swift-SDK, die künftig das Agent Communication Protocol unterstützen soll. Damit wird Mesh LLM zunehmend als zugrunde liegende Transport- und Routing-Schicht für verteilte KI-Agenten konzipiert. Das Projekt unterstreicht den Trend hin zu offenen, nutzerkontrollierten KI-Ökosystemen, die Rechenleistung dezentral bündeln, Herstellerabhängigkeiten abbauen und skalierbare Inferenz ohne zentrale Abhängigkeiten ermöglichen. Entwickler können die Dokumentation einsehen, den Quellcode nutzen oder sich im begleitenden Entwickler-Chat austauschen.