摘要
我们介绍了NeuralOS，这是一种神经框架，通过直接预测屏幕帧来模拟操作系统的图形用户界面（GUI），以响应用户的输入，如鼠标移动、点击和键盘事件。NeuralOS结合了一个循环神经网络（RNN），用于跟踪计算机状态，以及一个基于扩散的神经渲染器，用于生成屏幕图像。该模型在大规模Ubuntu XFCE录制数据集上进行训练，这些数据集包括随机生成的交互和由人工智能代理产生的真实交互。实验表明，NeuralOS成功地渲染了逼真的GUI序列，准确捕捉了鼠标交互，并可靠地预测了诸如应用程序启动等状态转换。尽管精确建模细粒度的键盘交互仍然具有挑战性，但NeuralOS为创建完全自适应的、生成性的神经接口以应用于未来的人机交互系统提供了一种途径。