EgoExoLearn 교차 관점 기술 학습 데이터 세트

이 데이터 세트는 상하이 인공지능 연구소, 난징 대학교, 중국과학원 산하 선전선진기술연구소 등의 주요 기관과 도쿄 대학교, 복단 대학교, 저장 대학교, 중국과학기술대학교 등 여러 대학의 학생 및 연구자들이 공동으로 공개했습니다. EgoExoLearn은 로봇이 다른 로봇을 관찰하여 새로운 행동을 학습할 수 있는 능력을 부여하는 것을 목표로 합니다.

EgoExoLearn 데이터 세트의 독특한 점은 1인칭과 3인칭 관점 모두에서 비디오 영상을 수집한다는 것입니다.1인칭 시점의 영상은 사람들이 3인칭 시점의 시범 행동을 배우는 전체 과정을 기록합니다. 이러한 관점의 변환과 융합은 기계가 인간의 학습 패턴을 모방할 수 있는 귀중한 데이터 리소스를 제공합니다.

이 데이터 세트의 구축 범위는 일상생활의 다양한 시나리오를 포괄할 뿐만 아니라 전문 실험실에서의 복잡한 작업도 포함합니다. EgoExoLearn은 총 120시간 분량의 관점과 데모 비디오를 포함하고 있으며, 다양한 환경에서 기계가 효과적으로 학습할 수 있도록 하는 것을 목표로 합니다.

연구진은 영상 외에도 고품질 시선 데이터를 기록하고 세부적인 다중 모드 주석을 제공했습니다. 이러한 데이터는 주석과 결합되어 인간의 학습 과정을 종합적으로 시뮬레이션하는 플랫폼을 구축하는데, 이는 다양한 관점에서 비동기적 작업 과정에 대한 기계 모델링 문제를 해결하는 데 도움이 됩니다.

연구진은 EgoExoLearn 데이터 세트의 가치를 종합적으로 평가하기 위해 교차 관점 연관, 교차 관점 행동 계획, 교차 관점 참조 기술 평가와 같은 일련의 벤치마크 테스트를 제안하고 심층 분석을 수행했습니다. 앞으로 EgoExoLearn은 다양한 관점의 행동을 연결하는 데 중요한 초석이 될 것이며, 로봇이 현실 세계에서 인간의 행동을 원활하게 학습할 수 있도록 견고한 지원을 제공할 것입니다.