NVIDIA, 로봇 조립과 접촉 풍부한 조작의 새로운 지평 열어

R²D²: NVIDIA 리서치가 로봇 조립과 접촉 풍부한 조작의 가능성을 열다 이번 NVIDIA 로봇 기술 연구 및 개발 소식 요약(R2D2)은 NVIDIA 리서치에서 발표한 여러 로봇 조립 작업을 위한 접촉 풍부한 조작 워크플로를 탐구하며, 이들이 고정 자동화의 주요 문제인 견고성, 유연성, 확장성을 어떻게 해결할 수 있는지 설명합니다. 접촉 풍부한 조작은 로봇과 환경 내 물체 간에 지속적이거나 반복적인 물리적 접촉이 필요한 로봇 작업을 의미합니다. 이는 마찰, 순응성, 정렬 등을 정밀하게 제어해야 하는 복잡한 작업을 요구합니다. 단순한 픽 앤 플레이스 작업과 달리, 이러한 작업은 불확실한 상황에서 세밀한 상호작용을 필요로 합니다. 이 기술은 로봇, 제조, 자동차 산업에서 중요한 역할을 합니다. 예를 들어, 핀 삽입, 기어 맞춤, 볼트 조임, 스냅핏 부품 조립 등의 작업이 일반적입니다. 접촉 풍부한 조작은 로봇이 복잡하고 고정밀 작업을 수행할 수 있게 하며, 이를 통해 조립 과정을 자동화하고 현실 세계의 변동성을 처리하는 데 중요한 역할을 합니다. NVIDIA 연구 워크플로: 복잡한 로봇 조립 작업 해결 로봇 조립 작업을 해결하는 것은 동적인 환경에서 정밀한 조작이 필요하기 때문에 어려워 왔습니다. 전통적으로 로봇 조립은 고정 자동화에 의존하여 유연성이 제한되었습니다. 그러나 인공지능(AI), 머신 러닝, 로봇 시뮬레이션 기술의 발전으로 로봇이 더 복잡한 작업을 수행할 수 있게 되었습니다. 다음은 로봇 조립 작업을 위한 NVIDIA 리서치 워크플로로, 고정 자동화에서 더 유연하고 확장 가능한 로봇 시스템으로의 전환을 보여줍니다. 기초적인 진보: Factory, IndustReal, Automate Factory: 실시간으로 접촉 풍부한 상호작용을 시뮬레이션하는 것이 계산적으로 불가능하다고 여겨졌지만, Factory는 SDF 충돌, 접촉 감소, 가우스-젤델 솔버를 사용하는 GPU 기반 시뮬레이션 프레임워크를 통해 돌파구를 마련했습니다. 이 환경은 이제 NVIDIA Isaac Lab에서 이용 가능합니다(그림 1 참조). IndustReal: Factory를 기반으로 한 IndustReal은 시뮬레이션에서 실제 세계로의 제로샷(zero-shot) 스킬 전송을 가능하게 하였으며, 600회의 시험에서 83%에서 99%의 성공률을 보였습니다. 이는 시뮬레이션 인식 정책 업데이트, SDF 기반 보상, 샘플링 기반 커리큘럼, 정책 수준의 액션 통합 등의 혁신 덕분입니다. Franka Panda와 UR10e 로봇을 사용해 실제 산업 응용 가능성의 문을 열었습니다. Automate: Automate는 강화학습과 모방 학습을 결합한 시뮬레이션 기반 프레임워크를 도입하여 다양한 복잡한 조립 작업을 해결하였습니다. 이는 100개의 시뮬레이션 호환 조립 자산, 약 80개의 작업을 해결하는 전문 정책, 그리고 20개의 작업을 처리할 수 있는 일반적인 정책을 제공하며, 모두 약 80%의 성공률을 보였습니다. 두 종류의 정책 모두 제로샷 시뮬레이션-현실 세계 전송을 시연하였으며, 때로는 시뮬레이션 성능을 초월하기도 하였습니다. Automate는 500만 번의 시뮬레이션 시험과 500회의 실제 시험을 통해 평가되었습니다(그림 2 참조). 새로운 로봇 조립 전선: 고급 학습 알고리즘과 자동화 Factory와 IndustReal의 혁신을 바탕으로, 팀은 더 복잡하고 다양한 조립 도전 과제를 해결하기 위해 자동 자산 생성, 스킬 검색 및 적응, 강화학습 및 모방 학습, 다양한 센서 입력을 활용하는 방향으로 나아갔습니다. 다음 섹션에서는 이러한 새로운 혁신의 핵심을 조명합니다. MatchMaker: 로봇 조립을 위한 자동 자산 생성 MatchMaker는 ICRA 2025에서 소개된 새로운 생성 파이프라인으로, 다양하고 시뮬레이션 호환 조립 자산 쌍을 자동으로 생성하여 조립 스킬 학습을 용이하게 합니다. 이는 자산을 수동으로 수집하는 문제를 해결하며, 서로 다른 형태의 부품을 생성합니다. MatchMaker는 세 가지 단계를 거쳐 형상 완성 작업을 수행하며, 조립 부품 쌍을 시뮬레이션 준비 상태로 출력합니다(그림 3 참조). 이는 시뮬레이션과 실제 환경에서 모두 유효성을 입증하였습니다. SRSA: 로봇 조립 작업을 위한 스킬 검색 및 적응 SRSA는 ICLR 2025 스포트라이트에서 소개된 프레임워크로, 기존 조립 작업 라이브러리의 스킬을 재사용하고 적응하여 데이터 효율적인 로봇 학습을 가능하게 합니다. 이는 기하학, 역학, 액션, 예측 성공률을 기반으로 새로운 작업에 가장 적합한 기존 정책을 선택한 후, 대상 작업에 맞게 미세 조정합니다. SRSA는 처음부터 학습하는 것(예: Automate 기법 사용)보다 우수한 성능, 효율성, 안정성을 제공하며, 지속적인 학습을 지원합니다. 새로운 작업에서 19% 높은 성공률을 보였으며, 2.4배 적은 샘플로 90%의 성공률을 달성하였습니다(그림 5 참조). TacSL: 촉각 센서 시뮬레이션 및 학습 라이브러리 TacSL은 인기 있는 로봇 촉각 센서의 출력을 가속화하여 GPU 기반 시뮬레이션을 200배 이상 빠르게 수행하는 라이브러리입니다. 촉각 센싱은 물체와의 접촉을 감지하여, 물건을 집거나 부품을 조립하거나 손을 조절하는 작업에 특히 유용합니다. 그러나 이 데이터를 이해하고, 현실적인 촉각을 시뮬레이션하며, 로봇이 이를 기반으로 행동하도록 훈련시키는 것은 어렵습니다. TacSL은 이러한 오랜 과제를 해결하기 위해 빠른 GPU 가속 촉각 시뮬레이션 모듈과 학습 알고리즘을 제공합니다. 이를 통해 로봇은 시뮬레이션에서 실제적인 촉각 피드백을 받으면서 핀 삽입 등의 접촉 풍부한 작업을 학습할 수 있습니다. TacSL은 대규모 훈련과 성공적인 시뮬레이션-현실 세계 전송(83%에서 91%의 성공률)을 지원하여, 촉각 기반 학습을 더 실용적이고 확장 가능하게 만듭니다(그림 6 참조). FORGE: 불확실한 조건에서의 견고한 접촉 풍부한 조작을 위한 힘 안내 탐색 FORGE는 입력으로 힘 측정 값을 사용하는 강화학습 정책의 제로샷 시뮬레이션-현실 세계 전송을 가능하게 하는 방법을 소개합니다. 이 접근법은 부품 자세의 불확실성이 크거나, 작업에 높은 정밀도와 정확도가 필요한 경우 중요합니다. 주요 특징으로는 힘을 기반으로 하는 탐색, 힘의 제한을 자동 조정하는 기능, 힘 측정 값이 모호한 경우 성공 예측을 사용하는 점 등이 있습니다. 이 특징들 덕분에 FORGE는 최대 5mm의 위치 추정 오차가 있어도 안전한 탐색과 성공적인 실행을 지원합니다. 다단계 행성 기어 시스템 조립 작업에서 이 능력이 시연되었습니다(그림 8 참조). 이 작업은 삽입, 기어 맞춤, 나사와 볼트 조임 등 3가지 조립 스킬을 필요로 합니다. 요약 로봇 조립은 정밀한 접촉과 현실 세계의 유연성을 필요로 하는 복잡한 작업입니다. 이번 글은 NVIDIA 리서치의 연구를 통해 시뮬레이션-현실 세계 전송, 촉각 및 힘 센싱, 자동 자산 생성 등이 어떻게 더 유연하고 적응력 있는 자동화를 가능하게 하는지를 조명합니다. 이 연구는 로봇 공학 분야에서 중요한 발전을 가져왔으며, 다양한 산업에서의 적용 가능성을 크게 높였습니다. 이 글은 NVIDIA 로봇 기술 연구 및 개발 소식 요약(R2D2) 시리즈의 일부로, NVIDIA 리서치의 물리 AI와 로봇 공학 응용 분야에서의 최신 혁신을 개발자들에게 깊이 있게 소개합니다. 자세한 내용은 뉴스레터 구독, NVIDIA Robotics YouTube, Discord, 개발자 포럼을 통해 확인할 수 있습니다. 로봇 공학 여행을 시작하려면 무료 NVIDIA Robotics Fundamentals 코스에 등록을 권장합니다. 참고사항 이 글에 언급된 연구에 기여한 연구원들에게 감사드립니다: Abhishek Gupta, Adam Moravanszky, Ankur Handa, Bingjie Tang, Bowen Wen, Chad Kessens, Chuang Gan, Dieter Fox, Fabio Ramos, Gaurav S. Sukhatme, Gavriel State, Iretiayo Akinola, Jan Carius, Jie Xu, Kaichun Mo, Karl Van Wyk, Kier Storey, Lukasz Wawrzyniak, Michael A. Lin, Michael Noseworthy, Michelle Lu, Miles Macklin, Nicholas Roy, Philipp Reist, Yashraj Narang, Yian Wang, Yijie Guo, Yunrong Guo. 업계 전문가의 평가 및 기업 프로필 NVIDIA의 연구는 로봇 공학 분야에서 큰 발전을 이끌어냈습니다. 특히, Factory, IndustReal, Automate, MatchMaker, SRSA, TacSL, FORGE 등의 프로젝트는 실시간 시뮬레이션, 제로샷 전송, 촉각 센싱, 불확실성 관리 등의 핵심 과제를 해결하였습니다. 이들은 로봇이 더 복잡하고 다양한 작업을 수행할 수 있도록 하며, 제조 및 자동차 산업에서의 대규모 적용 가능성을 열었습니다. 업계 전문가들은 NVIDIA의 이러한 연구가 미래 로봇 공학의 기반이 될 것으로 평가하고 있습니다.