NeuralOS: 신경망 생성 모델을 이용한 운영 체제 시뮬레이션

우리는 NeuralOS를 소개합니다. 이는 사용자의 입력(마우스 움직임, 클릭, 키보드 이벤트 등)에 직접적으로 화면 프레임을 예측하여 운영 체제의 그래픽 사용자 인터페이스(GUI)를 시뮬레이션하는 신경망 프레임워크입니다. NeuralOS는 컴퓨터 상태를 추적하는 순환 신경망(RNN)과 화면 이미지를 생성하는 확산 기반 신경 렌더러를 결합합니다. 이 모델은 무작위로 생성된 상호작용과 AI 에이전트가 생성한 실제적인 상호작용을 포함하는 대규모 Ubuntu XFCE 녹화 데이터셋으로 훈련되었습니다. 실험 결과, NeuralOS가 실제적인 GUI 시퀀스를 성공적으로 렌더링하고, 마우스 상호작용을 정확히 포착하며, 애플리케이션 실행과 같은 상태 전환을 안정적으로 예측함을 보여주었습니다. 세부적인 키보드 상호작용을 정확하게 모델링하는 것은 여전히 어려움이 있지만, NeuralOS는 미래의 인간-컴퓨터 상호작용 시스템을 위한 완전히 적응형이고 생성적인 신경 인터페이스 개발에 한 걸음을 내딛는 것입니다.