NeuralOS: Auf dem Weg zur Simulation von Betriebssystemen durch neuronale generative Modelle

Wir stellen NeuralOS vor, ein neuronales Framework, das grafische Benutzeroberflächen (GUIs) von Betriebssystemen durch direkte Vorhersage von Bildschirmframes auf Benutzereingaben wie Mausbewegungen, Klicks und Tastaturevents simuliert. NeuralOS kombiniert ein rekurrentes Neuronales Netz (RNN), das den Computerzustand verfolgt, mit einem diffusionsbasierten neuronalen Renderer, der Bildschirmbilder erzeugt. Das Modell wurde anhand eines umfangreichen Datensatzes von Ubuntu XFCE-Aufzeichnungen trainiert, die sowohl zufällig generierte Interaktionen als auch realistische Interaktionen beinhalten, die von KI-Agenten erzeugt wurden. Experimente zeigen, dass NeuralOS erfolgreich realistische GUI-Sequenzen rendert, Mausinteraktionen präzise erfassen kann und Zustandsübergänge wie Anwendungsstarts zuverlässig vorhersagt. Obwohl die genaue Modellierung feingranularer Tastaturinteraktionen noch Herausforderungen bereitet, bietet NeuralOS einen Schritt in Richtung der Erstellung vollständig adaptiver, generativer neuronaler Schnittstellen für zukünftige Mensch-Computer-Interaktionsysteme.