Command Palette
Search for a command to run...
ENACT: 자기중심 상호작용의 월드 모델링을 통한 몸을 가진 인지 평가
ENACT: 자기중심 상호작용의 월드 모델링을 통한 몸을 가진 인지 평가
초록
신체화된 인지(embodied cognition)는 지능이 수동적 관찰이 아니라 감각운동 상호작용에서 비롯된다고 주장한다. 이는 흥미로운 질문을 제기한다. 현재의 시각-언어 모델(VLM)은 대부분 신체에서 벗어난 방식으로 훈련되지만, 이들 모델은 신체화된 인지의 징후를 보일까? 우리는 VQA(시각질의응답) 형식에서 주관적 상호작용을 통한 세계 모델링으로 신체화된 인지 평가를 재정의한 ENACT이라는 벤치마크를 제안한다. ENACT는 부분 관측 가능한 마르코프 결정 과정(POMDP)으로 해석되며, 그 행동은 장면 그래프의 변화로 정의된다. 이 벤치마크는 두 가지 보완적인 시퀀스 재정렬 과제로 구성된다: 정방향 세계 모델링(행동이 주어졌을 때 뒤섞인 관측을 재정렬)과 역방향 세계 모델링(관측이 주어졌을 때 뒤섞인 행동을 재정렬). 개념적으로 간단하지만, 이러한 과제를 해결하는 것은 신체화된 인지의 핵심 역량—능력 인식, 행동-효과 추론, 신체적 인지, 부분 관측 가능한 주관적 입력에 기반한 상호작용적이고 장기적 기억—을 암묵적으로 요구하며, 평가를 왜곡할 수 있는 저수준 이미지 합성은 피한다. 우리는 로봇 시뮬레이션(BEHAVIOR)에서 QA 쌍을 합성하는 확장 가능한 파이프라인을 제공하며, 장기적 환경에서의 가정 규모 활동을 다루는 총 8,972개의 QA 쌍에 대해 모델을 평가한다. 실험 결과, 최첨단 VLM과 인간 간의 성능 차이가 상호작용의 수평이 길어질수록 더욱 커짐을 확인했다. 모델은 정방향 과제보다 역방향 과제에서 일관되게 더 높은 성능을 보였으며, 인간 중심적 편향을 나타내었는데, 이는 오른손잡이 행동을 선호하거나 카메라 내부 매개변수 또는 시점이 인간 시각과 다를 경우 성능 저하가 발생하는 것을 포함한다. 웹사이트: https://enact-embodied-cognition.github.io/.