Animal3D: 동물의 3D 자세 및 형태에 대한 포괄적인 데이터셋

동물의 3D 자세와 형태를 정확히 추정하는 것은 동물 행동을 이해하는 데 있어 필수적인 단계이며, 야생 동물 보호 등 많은 후속 응용 분야에 잠재적으로 이점을 제공할 수 있습니다. 그러나 이 분야의 연구는 고품질의 3D 자세와 형태 주석이 포함된 포괄적이고 다양한 데이터셋 부족으로 제약을 받고 있습니다. 본 논문에서는 포유류 동물의 3D 자세와 형태 추정을 위한 첫 번째 포괄적인 데이터셋인 Animal3D를 제안합니다. Animal3D는 40종의 포유류에서 수집한 3,379장의 이미지, 26개 키포인트의 고품질 주석, 그리고 특히 SMAL 모델의 자세와 형태 매개변수로 구성되어 있습니다. 모든 주석은 다단계 과정을 통해 수작업으로 라벨링 및 검토되었으며, 최고 품질의 결과를 보장하기 위해 노력하였습니다.Animal3D 데이터셋을 기반으로, 우리는 다음과 같은 세 가지 상황에서 대표적인 형태와 자세 추정 모델들을 벤치마킹합니다: (1) Animal3D 데이터만을 사용한 감독 학습, (2) 합성 이미지에서 실제 이미지로의 전이 학습, (3) 인간 자세와 형태 추정 모델들의 미세 조정. 실험 결과는 인간 자세 추정 분야에서 상당한 발전이 이루어졌음에도 불구하고, 종 간 동물의 3D 형태와 자세를 예측하는 것이 여전히 매우 어려운 과제임을 입증하고 있습니다. 또한 우리의 결과는 합성 사전 학습이 모델 성능 향상을 위한 타당한 전략임을 보여주고 있습니다. 전체적으로 Animal3D는 미래의 동물 3D 자세와 형태 추정 연구를 촉진하기 위한 새로운 방향을 열어주며, 공개적으로 이용 가능합니다.