Lokale KI-Modelle direkt im Browser ausführen

Mit OpenJev wird ein browserbasiertes Experiment zur lokalen Ausführung von Entscheidungsmodellen vorgestellt, das Inference ohne externe Serverarchitekturen ermöglicht. Das Projekt demonstriert, wie generative KI-Modelle ausschließlich auf der lokalen Grafikkarte des Nutzers laufen, wodurch Eingabedaten das eigene System niemals verlassen. Modellgewichte werden direkt von Hugging Face bezogen und im Browser-Cache persistiert, was eine vollständige Dezentralisierung ohne Backend-Infrastruktur garantiert. Die Plattform erlaubt die Auswahl verschiedener Modellgrößen, darunter Qwen3 mit 0,6 Gigabyte, MiniCPM5 mit 2 Gigabyte und Qwen3.5 mit 4 Gigabyte. Je nach Hardwarekapazität lässt sich die Architektur anpassen; größere Modelle benötigen längere Initialisierungszeiten oder erfordern leistungsfähigere GPUs. Im technischen Vergleich werden zwei Inferenzpfade sequentiell auf demselben Modell abgebildet, um Ressourcenkonkurrenz auszuschließen. Zunächst wird die Wahrscheinlichkeitsverteilung über festgelegte Optionen direkt aus den Logits abgelesen. Anschließend generiert dieselbe Architektur dieselbe Verteilung tokenweise als JSON-Ausgabe, wobei Latenz, Tokenrate und Wall-Time systematisch gemessen werden. Erste Benchmarkdaten belegen klare Leistungsunterschiede je nach Parametern. Das Qwen3-Modell mit 0,6 Milliarden Parametern erzielt 44,0 Prozent in der Basisperformance, 52,8 Prozent unter adversariellen Störungen und 40,7 Prozent in der Typensicherheit. MiniCPM5 mit 2 Milliarden Parametern legt deutlich vor und erreicht 68,6 beziehungsweise 69,3 Prozent in den ersten beiden Kategorien sowie 63,7 Prozent Sicherheit. Das größte Qwen3.5-Modell mit 4 Milliarden Parametern führt die Werte mit 81,3, 76,6 und 84,5 Prozent an und nähert sich damit den referenzierten Publikationswerten von 88,3 Prozent an. Da alle Browser-Builds quantisiert sind, verdeutlichen die Ergebnisse den Zielkonflikt zwischen Inferenzgeschwindigkeit und numerischer Präzision. OpenJev demonstriert damit einen praxistauglichen Proof of Concept für dezentrale, datenschutzkonforme KI-gestützte Entscheidungsfindung. Durch die vollständige Verlagerung der Rechenlast in den lokalen Browserfall entfällt die Abhängigkeit von Cloud-Providern, API-Kontingenzen und externer Datenverarbeitung. Die offene Testumgebung ist ohne Warteliste zugänglich und richtet sich an Entwicklungsteams, die Inference-Latenz, Robustheit und Nachvollziehbarkeit auf eigener Hardware validieren möchten. Die vorliegenden Daten unterstreichen das wachsende Potenzial lokal ausführbarer Modellarchitekturen für transparente und speicherortnahe KI-Anwendungen im Web.