다중 모달 AI 시스템은 향후 일상생활에서 흔히 볼 수 있는 존재가 될 전망이다. 이러한 시스템을 더 상호작용 가능하게 만들기 위한 유망한 접근 방식은 물리적·가상 환경 내에 에이전트(agent) 형태로 구현하는 것이다. 현재의 시스템들은 기존의 기반 모델(foundation models)을 기반으로 한 구조를 활용하여 몸체화된 에이전트를 구축하고 있다. 이러한 환경 내에 에이전트를 내장함으로써 모델은 시각적 데이터와 맥락 정보를 처리하고 해석하는 능력을 향상시킬 수 있으며, 이는 더 복잡하고 맥락 인식이 가능한 AI 시스템을 개발하는 데 핵심적인 요소가 된다. 예를 들어, 사용자의 행동, 인간의 행동 양식, 환경 내 객체, 음성 표현, 장면의 집단적 정서를 인지할 수 있는 시스템은 주어진 환경 내에서 에이전트의 반응을 인지하고 조정하는 데 활용될 수 있다. 에이전트 기반의 다중 모달 지능 연구를 촉진하기 위해, 우리는 "에이전트 AI(AGI)"를 시각 자극, 언어 입력, 그리고 환경에 기반한 기타 데이터를 인지할 수 있고, 의미 있는 몸체화된 행동을 생성할 수 있는 상호작용 시스템의 한 종류로 정의한다. 특히, 외부 지식, 다감각 입력, 인간의 피드백을 통합함으로써 다음 몸체화된 행동을 예측하는 데 초점을 맞춘 에이전트 개선을 목표로 하는 시스템을 탐구한다. 우리는 환경에 뿌리내린 상태에서 에이전트형 AI 시스템을 개발함으로써, 대규모 기반 모델의 환상( hallucination)과 환경에 부적절한 출력을 생성하려는 경향을 줄일 수 있다고 주장한다. 에이전트 AI라는 등장하는 분야는 다중 모달 상호작용의 보다 광범위한 몸체화 및 에이전트적 특성을 포괄한다. 물리 세계에서 행동하고 상호작용하는 에이전트를 넘어서, 우리는 사람들이 쉽게 어떤 가상현실 또는 시뮬레이션 환경을 생성하고, 그 안에 몸체화된 에이전트와 상호작용할 수 있는 미래를 상상한다.