HyperAIHyperAI

Command Palette

Search for a command to run...

NeuralOS: Auf dem Weg zur Simulation von Betriebssystemen durch neuronale generative Modelle

Luke Rivard Sun Sun Hongyu Guo Wenhu Chen Yuntian Deng

Zusammenfassung

Wir stellen NeuralOS vor, ein neuronales Framework, das grafische Benutzeroberflächen (GUIs) von Betriebssystemen durch direkte Vorhersage von Bildschirmframes auf Benutzereingaben wie Mausbewegungen, Klicks und Tastaturevents simuliert. NeuralOS kombiniert ein rekurrentes Neuronales Netz (RNN), das den Computerzustand verfolgt, mit einem diffusionsbasierten neuronalen Renderer, der Bildschirmbilder erzeugt. Das Modell wurde anhand eines umfangreichen Datensatzes von Ubuntu XFCE-Aufzeichnungen trainiert, die sowohl zufällig generierte Interaktionen als auch realistische Interaktionen beinhalten, die von KI-Agenten erzeugt wurden. Experimente zeigen, dass NeuralOS erfolgreich realistische GUI-Sequenzen rendert, Mausinteraktionen präzise erfassen kann und Zustandsübergänge wie Anwendungsstarts zuverlässig vorhersagt. Obwohl die genaue Modellierung feingranularer Tastaturinteraktionen noch Herausforderungen bereitet, bietet NeuralOS einen Schritt in Richtung der Erstellung vollständig adaptiver, generativer neuronaler Schnittstellen für zukünftige Mensch-Computer-Interaktionsysteme.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp