ODYSSEY: 장기 과제를 위한 오픈월드 사지동물 탐색 및 조작

언어 지도형 장기 예측 모바일 조작은 몸체적 의미 추론, 일반화 가능한 조작, 적응형 이동성 분야에서 오랫동안 큰 도전 과제로 여겨져 왔다. 이 분야의 발전을 저해하는 세 가지 근본적인 한계가 존재한다. 첫째, 대규모 언어 모델이 의미적 사전 지식을 통해 공간 인식 능력과 작업 계획 능력을 향상시켰음에도 불구하고, 기존의 구현은 여전히 테이블탑 환경에 국한되어 있으며, 이동형 플랫폼의 제한된 인지 능력과 제한된 작동 범위 문제를 해결하지 못하고 있다. 둘째, 개방형 환경에서 다수의 다양한 물체 구성이 존재할 때, 현재의 조작 전략은 충분한 일반화 능력을 보이지 못하고 있다. 셋째, 실용적 도입에 있어 매우 중요한 점은, 비구조적 환경에서 고도의 플랫폼 유연성과 정밀한 종단장치 제어를 동시에 유지해야 한다는 점이지만, 이에 대한 연구는 여전히 부족한 실정이다.본 연구에서는 조작 장비를 탑재한 유연한 4족 보행 로봇을 위한 통합형 모바일 조작 프레임워크인 ODYSSEY를 제안한다. 이 프레임워크는 고수준의 작업 계획과 저수준의 전신 제어를 원활하게 통합함으로써, 높은 수준의 자율성과 정밀성의 조작을 가능하게 한다. 언어 조건 하에서의 자기 중심 인지 문제를 해결하기 위해, 시각-언어 모델 기반의 계층적 계획자(Hierarchical Planner)를 도입하여 장기 예측 지시의 분해 및 정밀한 동작 실행을 가능하게 했다. 제어 수준에서는 도전적인 지형에서도 견고한 전신 제어 정책을 구현함으로써, 로봇의 균형과 안정성을 확보하였다. 또한, 장기 예측 모바일 조작을 평가할 수 있는 최초의 벤치마크를 제시하며, 다양한 실내 및 실외 환경에서의 성능을 종합적으로 평가하였다. 시뮬레이션에서 실제 환경으로의 성공적인 전이를 통해, 본 시스템이 실제 환경에서의 일반화 능력과 강건성을 입증하였으며, 비구조적 환경에서 다리형 조작 로봇의 실용 가능성을 강조하였다. 본 연구는 복잡하고 동적인 작업을 수행할 수 있는 일반화된 로봇 보조 시스템의 실현 가능성을 한층 더 높였다.본 연구의 프로젝트 페이지: https://kaijwang.github.io/odyssey.github.io/