초록

실세계 시나리오에서 복잡한 상호작용 작업을 수행할 수 있는 체화된 에이전트를 개발하는 것은 여전히 체화된 인공지능(AI)의 근본적인 과제입니다. 최근 시뮬레이션 플랫폼의 발전은 체화된 비전 언어 모델(VLMs)을 훈련시키는 작업 다양성을 크게 향상시켰지만, 대부분의 플랫폼은 단순화된 로봇 형태와 저레벨 실행의 확률적 성질을 우회하여, 이로 인해 실제 로봇으로의 전이성이 제한됩니다. 이러한 문제들을 해결하기 위해, AI2-THOR의 확장 버전을 기반으로 한 복잡한 양팔 인간형 로봇을 위한 물리학 기반 시뮬레이션 플랫폼 DualTHOR를 소개합니다. 우리의 시뮬레이터는 실제 세계 로봇 자산, 양팔 협업을 위한 작업 스위트, 그리고 인간형 로봇을 위한 역运动学求解器(역운동학 솔버)를 포함하고 있습니다. 또한, 물리학 기반 저레벨 실행을 통해 잠재적인 실패를 통합하는 대응 메커니즘도 제안하여, 실세계 시나리오와의 간극을 줄였습니다. 우리의 시뮬레이터는 가정 환경에서 VLMs의 견고성과 일반화 능력을 보다 포괄적으로 평가할 수 있게 합니다. 광범위한 평가 결과에 따르면, 현재 VLMs는 양팔 조정에 어려움을 겪으며, 대응 상황이 있는 현실적인 환경에서는 견고성이 제한적임을 나타냈습니다. 이는 실세계 작업에 더 효과적인 VLMs를 개발하기 위해 우리 시뮬레이터 사용의 중요성을 강조합니다. 코드는 https://github.com/ds199895/DualTHOR.git에서 제공됩니다.注：在“逆运动学求解器”这一术语中，我保留了中文的翻译，并在后面加上了原文（inverse kinematics solvers）以确保信息完整。如果你希望全部使用韩文，可以将其改为“역운동학 솔버”。