동물 왕국: 동물 행동 이해를 위한 대규모 다변화 데이터셋

동물의 행동을 이해하는 것은 다양한 응용 분야에서 중요한 의미를 가집니다. 그러나 기존의 동물 행동 데이터셋은 동물 종류, 데이터 샘플 및 제공되는 작업의 수가 제한적이며, 환경 조건과 시점의 다양성도 부족합니다. 이러한 한계를 극복하기 위해, 우리는 자연적인 동물 행동에 대한 보다 철저한 이해를 가능하게 하는 다수의 주석화된 작업을 제공하는 대규모이고 다양한 데이터셋인 '동물 왕국(Animal Kingdom)'을 생성하였습니다. 우리의 데이터셋에 사용된 야생 동물 영상은 배경, 시점, 조명 및 날씨 조건 등이 다양하게 변화하는 광범위한 환경에서 하루 중 다른 시간대를 기록하고 있습니다. 더욱 구체적으로, 우리의 데이터셋은 비디오 그라운딩 작업을 위한 관련 동물 행동 구간을 긴 비디오에서 위치 지정하기 위한 50시간의 주석화된 비디오, 세부적인 다중 라벨 행동 인식 작업을 위한 3만 개의 비디오 시퀀스, 그리고 포즈 추정 작업을 위한 3만 3천 개의 프레임으로 구성되어 있으며, 이는 6개 주요 동물 클래스에 걸쳐 850종 이상의 다양한 동물을 포함합니다. 이러한 도전적이고 포괄적인 데이터셋은 동물 행동 분석을 위한 다양한 고급 방법들을 개발, 적응 및 평가하는 데 커뮤니티에게 큰 도움이 될 것입니다. 또한, 우리는 미지의 새로운 동물을 인식할 수 있는 일반적이고 특이적인 특성을 학습하는 협업 행동 인식(CARe) 모델을 제안합니다. 이 방법은 우리의 실험에서 유망한 성능을 보였습니다. 우리의 데이터셋은 https://sutdcv.github.io/Animal-Kingdom 에서 확인할 수 있습니다.