다중 시점 마우스 사회적 행동 인식을 위한 딥 그래픽 모델

쥐의 집 안에서의 사회적 행동 분석은 신경퇴행성 질환 치료 효과를 평가하는 데 매우 유용한 도구이다. 연구계의 막대한 노력에도 불구하고, 여전히 단일 카메라 영상 기록이 주로 사용되고 있다. 다양한 시점에서 쥐의 사회적 행동을 풍부하게 묘사할 수 있다는 잠재력 때문에, 다중 시점 영상 기록을 이용한 설치류 관찰에 대한 관심이 점점 증가하고 있다. 그러나 데이터 소스 간 대응 관계가 부족하여, 다양한 시점에서의 사회적 행동을 정확히 식별하는 것은 여전히 도전 과제이다. 이러한 문제를 해결하기 위해, 본 연구에서는 각 시점의 고유한 동적 특성을 포착하는 동시에 시점 간의 상호작용을 인코딩하는 시점별 및 시점 공유 하위 구조를 공동으로 학습하는 새로운 다중 시점 잠재 주의력 및 동적 구분 모델을 제안한다. 또한, 획득한 특징을 학습하기 위해 새로운 다중 시점 잠재 주의력 변분 오토인코더 모델을 도입하여 각 시점에서 구분 가능한 특징을 효과적으로 학습할 수 있도록 했다. 표준 CRMI13 데이터셋 및 본 연구에서 제안한 다중 시점 파킨슨병 쥐 행동(PDMB) 데이터셋에 대한 실험 결과는 제안 모델이 기존 최고 수준의 기술들을 능가하며, 불균형 데이터 문제에도 효과적으로 대응함을 보여주었다.