نقدم نظام NeuralOS، وهو إطار عصبي يحاكي واجهات المستخدم الرسومية (GUIs) لأنظمة التشغيل من خلال التنبؤ المباشر بإطارات الشاشة استجابةً للمدخلات المستخدمة مثل حركات الفأرة والنقرات وأحداث لوحة المفاتيح. يجمع نظام NeuralOS بين شبكة عصبية متكررة (RNN) تتبع حالة الحاسوب، ومحرك توصيف عصبي يستند إلى الانتشار يولد صور الشاشة. تم تدريب النموذج على مجموعة بيانات كبيرة تتضمن تسجيلات Ubuntu XFCE، والتي تشمل كلًا من التفاعلات التي تم إنشاؤها بشكل عشوائي والتفاعلات الواقعية التي أنتجتها الوكلاء الذكائية الاصطناعية. أظهرت التجارب أن NeuralOS نجح في توصيف سلاسل واجهة المستخدم الرسومية بواقعية، وأنه يلتقط التفاعلات الفأرة بدقة، ويتنبأ بالانتقالات الحالة مثل إطلاق التطبيقات بشكل موثوق. رغم أن نمذجة التفاعلات الدقيقة للوحة المفاتيح بدقّة لا تزال تحديًا، إلا أن NeuralOS يقدم خطوة نحو إنشاء واجهات عصبية متكيفة ومولدة بالكامل للأنظمة المستقبلية للتواصل بين الإنسان والحاسوب.