로봇이 새로운 조작 작업을 제로샷(Zero-shot)으로 수행할 수 있도록 하는 것은 로봇공학 분야의 핵심 목표 중 하나이다. 기존의 대부분의 방법들은 분포 내(task distribution)의 작업을 전제로 하거나, 본체(embodiment)와 일치하는 데이터를 활용한 미세조정(fine-tuning)에 의존하여, 다양한 플랫폼 간의 전이 능력이 제한된다. 본 연구에서는 태스크 설명을 기반으로 타겟 로봇을 위한 실행 가능한 계획으로 변환하는 자율 조작 프레임워크인 NovaFlow을 제안한다. NovaFlow는 어떠한 예시도 없이, 태스크 설명만을 입력받아 동작 계획을 생성한다. 주어진 태스크 설명을 바탕으로, NovaFlow는 비디오 생성 모델을 활용해 비디오를 합성하고, 사전에 존재하는 인식 모듈(Perception modules)을 통해 이를 3차원 실행 가능한 물체 흐름(3D actionable object flow)으로 요약한다. 이 물체 흐름을 기반으로, 단단한 물체에 대해 상대적 자세(relative poses)를 계산하고, 그립 제안(grasp proposals)과 궤적 최적화를 통해 로봇 동작으로 구현한다. 유연한 물체의 경우, 이 흐름은 입자 기반 동역학 모델을 활용한 모델 기반 계획에서 추적 목표(tracking objective)로 활용된다. NovaFlow는 태스크 이해와 저수준 제어를 분리함으로써 자연스럽게 다양한 본체 간 전이가 가능하다. 본 연구에서는 테이블탑 형태의 Franka 로봇 팔과 Spot 4족 보행형 모바일 로봇을 활용하여 단단한 물체, 관절이 있는 물체, 유연한 물체에 대한 조작 태스크를 검증하였으며, 예시나 본체 특화 학습 없이도 효과적인 제로샷 실행을 달성하였다. 프로젝트 웹사이트: this https URL.