私たちはNeuralOSを紹介します。これは、ユーザー入力（マウスの動き、クリック、キーボードイベントなど）に直接対応して画面フレームを予測することで、オペレーティングシステムのグラフィカルユーザーインターフェース(GUI)をシミュレーションするニューラルフレームワークです。NeuralOSは、コンピュータ状態を追跡する再帰型ニューラルネットワーク(RNN)と、画面画像を生成する拡散ベースのニューラルレンダラーを組み合わせています。このモデルは、Ubuntu XFCEの録画データの大規模データセットで訓練されています。このデータセットには、ランダムに生成された相互作用とAIエージェントによって生成された現実的な相互作用が含まれています。実験結果によると、NeuralOSは現実的なGUIシーケンスを成功裏にレンダリングし、マウスの相互作用を正確に捉え、アプリケーションの起動などの状態遷移を信頼性高く予測しています。ただし、詳細なキーボード相互作用を正確にモデリングすることは依然として困難ですが、NeuralOSは完全に適応的で生成的なニューラルインターフェースを作成するための一歩となり得ます。未来の人間-コンピュータ相互作用システム向けの完全に適応的かつ生成的なニューラルインターフェースの創出に向けて、NeuralOSは重要な一歩となるでしょう。