로봇, 스스로를 알아라: 시각으로 몸 이해하는 신 시스템

MIT의 컴퓨터 과학 및 인공지능 연구소(CSAIL)에서 개발한 새로운 시각 기반 시스템인 Neural Jacobian Fields(NJF)는 로봇이 스스로 몸의 움직임을 이해할 수 있도록 학습시킨다. 이 시스템은 단일 카메라를 통해 로봇의 움직임을 관찰하고, 이를 바탕으로 제어를 수행한다. 기존의 로봇 제어 방식은 정밀한 센서 배열이나 수작업으로 설계된 모델을 필요로 했지만, NJF는 로봇이 시각 정보만으로 자신의 몸 구조와 제어 신호에 대한 내부 모델을 스스로 학습하는 방식이다. 이 연구는 6월 25일 Nature에 발표되었으며, 로봇의 제어 방식에 대한 패러다임 전환을 제시한다. 연구를 주도한 MIT 전기공학 및 컴퓨터공학 박사과정 학생인 Sizhe Lester Li는 "이 연구는 로봇을 프로그래밍하는 것이 아니라 교육하는 방향으로의 전환을 보여준다"고 밝혔다. 이 시스템은 로봇이 무작위 동작을 수행하면서 카메라가 기록한 결과를 통해 제어 신호와 움직임의 관계를 추론하게 된다. 이 과정에서 인간의 개입이나 사전 지식이 필요하지 않으며, 로봇은 스스로 자신의 움직임을 학습한다. NJF는 다양한 로봇 유형에서 검증되었으며, 공기압을 이용한 부드러운 로봇 손, 강성 손, 3D 프린팅된 팔, 그리고 센서가 내장되지 않은 회전 플랫폼에서도 성공적으로 작동했다. 이 시스템은 로봇의 3차원 형상과 제어 입력에 대한 민감도를 동시에 모델링하는 신경망을 기반으로 한다. 이는 NeRF(신경적 방사장) 기술을 확장한 것으로, 로봇의 형태뿐만 아니라 움직임을 예측하는 Jacobian 필드도 학습한다. 이 시스템의 주요 장점은 실시간 제어에 필요한 단일 카메라만으로 작동한다는 점이다. 현재 시스템은 여러 카메라가 필요하며, 각 로봇마다 별도의 학습이 필요하지만, 연구팀은 향후 일반 사용자가 스마트폰으로 로봇의 무작위 움직임을 녹화하고, 이를 통해 제어 모델을 생성할 수 있는 버전을 개발하고 있다. 이는 로봇의 센서 및 프로그래밍 비용을 줄이고, 접근성을 높이는 데 기여할 수 있다. 이 시스템은 아직 다양한 로봇 간의 일반화나 힘 또는 촉각 감지 기능이 부족해 접촉이 많은 작업에는 한계가 있지만, 연구팀은 이를 개선하기 위한 방안을 탐구 중이다. 이는 향후 농업, 건설, 산업 등 다양한 실용 환경에서 로봇의 유연한 작동을 가능하게 할 수 있다. CSAIL 소속 연구자인 Daniela Rus는 "시각만으로도 위치 및 제어에 필요한 정보를 제공할 수 있어, GPS나 외부 추적 시스템이 필요 없게 된다"고 강조하며, 이는 비구조적 환경에서의 로봇 작동 가능성을 열어준다고 설명했다. 연구팀은 미래에 로봇이 스스로 움직임을 인지하고, 다양한 환경에서 유연하게 작동할 수 있도록 할 계획이다. 이는 기존의 수작업 모델링 방식에서 벗어나, 관찰과 상호작용을 통해 로봇을 교육하는 새로운 로봇 공학의 흐름을 반영한다. 이 시스템은 로봇 공학의 접근성을 높이고, 다양한 형태의 로봇 설계를 가능하게 하며, 향후 테크놀로지와 산업 분야에서 중요한 기반이 될 수 있다. MIT의 연구팀은 이 기술이 향후 로봇의 자율성과 유연성을 극대화하는 데 기여할 것으로 기대하고 있다.