LeRobot, 로봇용 ImageNet 구축 노력 가속화

최근 Vision-Language-Action (VLA) 모델의 발전으로 로봇이 다양한 업무를 수행할 수 있게 되었다. 이는 간단한 명령어인 "큐브를 잡아라"부터 복잡한 활동인 빨래 접기나 테이블 청소까지 가능하게 만들었다. 이러한 모델들은 새로운 환경이나 미처 본 적 없는 물체가 있어도 업무를 수행하는 일반화 능력을 목표로 한다. 일반화는 로봇이 새로운 환경에서 간단한 업무조차 올바르게 수행하기 위한 핵심이다. 이는 단순히 스푼의 손잡이를 잡거나 접시의 가장자리를 잡는 것과 같은 저수준의 이해와 더불어, 의복을 어디에 두어야 하는지, 어떤 도구를 사용해야 하는지를 포함하는 고수준의 업무 의미 이해를 필요로 한다. 그러나, 이러한 로봇 시스템을 위한 다양하고 풍부한 데이터의 부족은 진전을 제한하고 있다. 일반화 정책의 핵심은 다양한 데이터셋에서 함께 학습하는 것이다. VLA 모델을 다양한 환경, 업무, 그리고 로봇 형태에 노출시키면, 모델은 단순히 어떻게 행동할 것인지 뿐만 아니라 왜 그렇게 해야 하는지를 배운다. 즉, 장면을 해석하고, 목표를 이해하며, 상황에 따라 기술을 적용하는 방법을 배운다. 일반화는 모델의 특성뿐만 아니라, 훈련 데이터의 다양성, 품질, 추상화 수준에서 발생한다는 점이 중요하다. 그러나 현재 대부분의 로봇 데이터셋은 구조적으로 정돈된 연구실 환경에서 수집된다. 이는 데이터의 다양성을 제한하며, ImageNet처럼 인터넷 규모의 데이터를 수집하여 현실 세계를 더 포괄적으로 포착하는 것과는 거리가 멀다. LeRobot는 로봇 데이터 수집을 더 접근 가능하게 만들기 위해 노력하고 있다. 집에서, 학교에서, 또는 어디서든 로봇 데이터를 수집할 수 있도록 지원하면서, 커뮤니티 기여 데이터셋의 수가 급증하고 있다. 현재 LeRobot 데이터셋의 주요 초점은 로봇 암과 조작 업무에 있다. 하지만 자율 주행 차량, 보조 로봇, 이동 기술 등 다른 분야에서도 공유된 데이터로부터 큰 혜택을 받을 수 있다. 이 모멘텀은 전 세계적인 노력이 아닌 단일 연구실이나 기관의 기여로 이루어진 데이터셋을 넘어선 미래를 더 가깝게 만들어준다. 레알로봇(LeRobot)는 이미 커뮤니티 데이터셋을 후처리하기 위한 자동 큐레이션 파이프라인을 개발하기 시작했다. 이 과정에서 다음과 같은 몇 가지 개선 영역을 확인하였다: 불완전하거나 일관되지 않은 작업 주석: 많은 데이터셋이 작업 설명이 부족하거나 모호하다. 작업의 맥락과 세부 사항을 이해하는 것이 로봇 성능에 핵심적이므로, 세부 표현은 로봇이 정확히 무엇을 해야 하는지 이해하고, 더 넓은 지식과 어휘를 인지 시스템에 제공한다. 모호함은 잘못된 해석과 그 결과로 잘못된 동작을 유발할 수 있다. 특징 매핑 불일치: 이미지 등의 특징은 애매하게 라벨링되는 경우가 많다. 수동으로 데이터셋 특징을 표준화된 이름으로 매핑하는 것은 시간이 많이 걸리고 오류가 생길 수 있다. VLM이나 컴퓨터 비전 모델을 사용하여 카메라 시점을 분류하는 작업을 자동화할 수 있지만, 이에 대한 이해는 깨끗한 데이터셋을 만드는 데 도움이 된다. 저품질 또는 불완전한 에피소드: 일부 데이터셋은 불량 데이터, 잘못된 센서 데이터, 중단된 에피소드 등을 포함하고 있다. 일관되지 않는 동작/상태 차원: 동일한 로봇(e.g., so100)에서조차도 다른 데이터셋이 서로 다른 동작 또는 상태 차원을 사용하는 경우가 있다. 높은 품질의 데이터셋을 만드는 것이 신뢰성 있고 일반화 가능한 로봇 정책을 훈련시키는 데 필수적임을 알게 되었다. 이를 위해 데이터 수집 시 다음과 같은 체크리스트를 제공한다: 이미지 품질: 이미지는 선명하고 잘 조명되어야 하며, 필요한 경우 여러 각도에서 촬영되어야 한다. 메타데이터 및 녹화 프로토콜: 데이터 수집 과정을 문서화하고, 모든 정보를 포함해야 한다. 특징 명명 규칙: 모든 카메라 뷰와 관찰에 대해 일관되고 해석 가능한 명명 방식을 사용해야 한다. 예를 들어, <모달리티>.<위치> 형식을 사용한다. 특정 장치 이름은 피해야 하며, 손목에 장착된 카메라는 방향을 명시해야 한다. 다음 세대의 일반화 로봇은 한 사람이나 한 연구실에 의해 만들어질 것이 아니라, 모두가 함께 만들어갈 것이다. 학생, 연구자, 또는 로봇에 관심 있는 누구든지 참여할 수 있으며, 미래의 일반화 로봇은 오늘 우리가 만드는 데이터에 달려 있다. 산업 전문가들의 평가 및 회사 프로필 LeRobot는 로봇 데이터셋의 다양성과 품질 향상을 통해 로봇학의/ImageNet/ 순간을 실현하기 위해 노력하고 있다. 이는 전 세계적인 협력과 공유를 통해 가능해지며, 로봇의 일반화 능력을 크게 향상시킬 것으로 기대된다. LeRobot는 이러한 목표를 달성하기 위해 커뮤니티 참여를 적극적으로 독려하며, 데이터셋의 자동 큐레이션 파이프라인 개발을 통해 데이터의 품질을 더욱 높이는 방안을 모색하고 있다. 이에 대한 지속적인 관심과 참여가 로봇학의 미래를 밝게 할 것으로 전망된다.