중국과학원 선전선진기술원(Shenzhen Institute of Advanced Technology)은 몇 번의 샷 학습 프레임워크를 기반으로 동물의 사회적 행동을 분석하는 SBeA를 제안했습니다.

새들은 날개를 펼치고, 늑대들은 지도자 주위에 모이며, 펭귄들은 새끼를 함께 키웁니다... 동물의 사회적 행동에는 어떤 의미가 있을까요? 번식, 포식, 방어, 사회적 계층의 확립이라는 과정이 인간 진화 과정을 단계적으로 보여주는 것일까요?

동물의 사회적 행동이라고 불리는 이러한 질문에 대한 연구는 행동을 정확하게 정량화, 식별 및 분류함으로써 상호작용에서 뇌 기능과 정신 장애의 역할을 밝히는 데 도움이 될 수 있습니다. 동시에 동물의 사회적 행동 연구 모델은 자폐증, 우울증, 사회 불안 장애와 같은 질병의 매우 흔한 증상인 인간의 사회적 장애를 연구하는 데 중요한 역할을 합니다.

과거에는 동물의 사회적 행동에 대한 연구와 이해가 주석이 부족한 데이터로 인해 제한되었습니다. 다중 동물 DeepLabCut, SLEAP, AlphaTracker와 같은 딥 러닝 기술은 데이터 주석을 위한 강력한 도구를 제공하지만, 실험 시나리오에서의 적용은 고품질 벤치마크 데이터 세트의 가용성에 의해 제한됩니다. 기존의 다중 동물 자세 추정 데이터 세트는 종종 광범위한 사회적 행동 테스트 모델을 포괄하지 못합니다. 이로 인해 종 간 또는 다른 환경에서의 행동이 충분히 고려되지 않을 수 있으므로 연구의 폭과 깊이가 제한됩니다.

동물 행동 연구에서는 기술 혁신을 통해 연구 효율성과 정확성을 시급히 개선해야 합니다. 이를 바탕으로,SBeA(사회적 행동 지도)는 중국과학원 산하 선전선진기술연구소에서 개발되었습니다. 이 알고리즘은 자유 생활 동물의 행동을 종합적으로 정량화하고, 소수의 라벨링된 프레임(약 400개 프레임)을 사용하여 다수 동물의 3차원 자세를 추정하며, 양방향 전이 학습 전략을 통해 다수 동물의 신원 인식 정확도가 90%를 초과합니다.관련 결과는 Nature에 게재되었습니다.

논문 링크:

https://www.nature.com/articles/s42256-023-00776-5 공식 계정을 팔로우하고 "SBeA"라고 답글을 달면 전체 논문을 받아볼 수 있습니다.

SBeA의 두 가지 주요 구조: 자세 추적 및 행동 매핑

자유생활 동물의 행동을 종합적으로 정량화하기 위해, SBeA의 주요 업무에는 3D 포즈 추적과 사회적 행동 매핑이 포함됩니다.

3D 포즈 추적: 다중 동물의 사회적 행동 및 신원 인식

3D 자세 추적 프로세스는 위 그림에 표시되어 있습니다.

먼저, 카메라 어레이를 사용하여 두 쥐의 자유로운 사회적 행동을 영상으로 촬영했습니다. 이 과정은 두 단계로 나뉘었습니다. 첫 번째 단계는 쥐들 간의 자유로운 사회적 상호작용을 포착하는 데 중점을 두었고, 두 번째 단계는 비디오 수집 중에 체크무늬 이미지를 사용하여 이러한 상호작용 중에 각 쥐의 신원을 식별하고 기록하는 것을 목표로 했습니다.

그런 다음 수집된 여러 동물의 윤곽과 단일 동물의 자세에 자세한 주석을 달고 분석을 위해 다단계 인공 신경망에 입력했습니다. 출력 결과는 그림 d에 표시되어 있으며 세 부분으로 나뉩니다.

* AI 출력 비디오 인스턴스, 다양한 동물의 자세, 다양한 동물의 식별 정보 

* 카메라 보정 매개변수와 결합된 비디오, 포즈 및 신원 정보의 3D 재구성

* 신원 정보가 포함된 3D 포즈의 시각적 표시.

행동 매핑: 시간과 공간의 저차원 표현

사회적 행동 매핑 과정은 위 그림과 같습니다.

병렬 동적 분해: 두 마리 쥐의 원시 3D 궤적을 운동(걷기, 달리기, 점프, 오르기와 같은 신체적 움직임), 비운동 운동(꼬리 흔들기, 귀 흔들기, 자세 변화와 같이 공간에서 몸 전체의 위치 변화를 수반하지 않는 움직임), 신체 거리(두 마리 이상 동물 간의 물리적 거리)로 분해합니다.

사회적 행동 모듈 내의 특징 분포에 대해 더 깊이 이해하기 위해, 추출된 세 가지 궤적 특징을 공간적, 시간적 표현으로 변환합니다. 공간 수준은 SBeA의 저차원 임베딩 거리 특징을 통해 포착되고(그림 f의 왼쪽에 표시된 대로), 시간 수준은 사회적 행동 그래프를 통해 표현됩니다(그림 f의 오른쪽에 표시된 대로).

SBeA 훈련: 양방향 전이 학습 및 비지도 학습

양방향 전이 학습: 라벨링 없이 다중 동물 식별

동물의 자유로운 사회적 행동 중에 같은 종의 동물들이 서로 가까이 있는 경우가 많아, 수동 식별 주석이 정확하지 않은 경우가 많습니다. 이러한 과제를 해결하기 위해 연구자들은 SBeA에서 양방향 전이 학습을 사용하는 것을 제안했습니다(아래 그림 a). 즉, 훈련된 다중 동물 분할 모델을 단일 동물 비디오로 전이할 수 있고, 훈련된 단일 동물 식별 모델도 다중 동물 식별로 전이할 수 있어 동물 식별을 수동으로 분류하는 작업 부하를 크게 줄일 수 있습니다.

양방향 전이 학습을 활용한 학습 방법은 다음과 같습니다.

*  세분화 모델의 재사용(그림 b): 카메라 어레이를 사용하여 동물의 비디오 스트림을 캡처하고, 훈련된 VisTR(변환기가 있는 VIS) 모델을 사용하여 단일 동물 비디오 인스턴스를 분할하고, 여러 각도에서 데이터를 얻습니다. 

*  단일 동물 식별 모델 훈련(그림 c): 데이터를 자르고, 연결하고, 크기를 조정하고, EfficientNet을 백본으로 사용하여 다중 동물 식별 인식 모델을 훈련합니다.

*  다중 동물 분할 및 3D 재투영(그림 d): 각 카메라 뷰의 마스크를 재투영하고, 이 데이터를 자르고, 연결하고, 크기를 조정한 다음, 이를 다중 동물 식별 인식 모델에 입력합니다.

*  신원 인식 모델의 재사용(그림 e): 훈련된 단일 동물 식별 모델을 다중 동물 식별에 재사용합니다.

이 과정에는 복잡한 이미지 처리와 데이터 변환이 포함되어 다양한 관점과 상황에서 효과적인 정보를 추출하고 궁극적으로 동물의 신원과 3D 자세의 시각적 결과를 예측합니다.

연구진은 SBeA의 식별 성능을 평가하기 위해 위에서 언급한 쥐의 자유로운 사회적 행동을 기록하고 마스크된 재투영 이미지와 3D 자세를 프레임별로 수동으로 검증했습니다. 결과에 따르면, 일부 단일 마우스의 인식 정확도는 낮았지만, 마우스 쌍을 식별하는 전반적인 정확도는 0.85보다 높았습니다.

비지도 학습: 사회적 행동의 구조 밝혀내기

비지도 학습 애플리케이션에서 알고리즘은 미리 레이블이 지정되거나 분류된 데이터에 의존하지 않습니다. 대신 그들은 데이터에서 직접 패턴과 관계를 발견하려고 시도합니다.

이 연구에서 비지도 학습은 동적 시간 정렬 커널(DTAK)을 사용하여 행동의 동적 구조를 분해하고, 논리적 덧셈을 사용하여 분해된 시간 지점을 병합하여 아래 그림과 같이 연속적인 자세 궤적을 이산적인 사회적 행동 모듈로 변환합니다.

PAIR-R24M 데이터 세트는 SBeA의 감독 검증을 실시하는 데 사용되었습니다. 결과는 다음과 같습니다.본 연구에서는 사회적 행동 모듈의 클러스터링 성능을 정량화하는 데 성공했으며, SBeA는 사회적 행동을 효과적으로 분류할 수 있습니다.

SBeA: 정확성 + 다재다능함

SBeA의 정확도: Shank3B 녹아웃 마우스의 행동 연구

연구진은 SbeA가 유전적 수준에서 사회적 행동의 차이를 감지할 수 있는지 알아보기 위해 쥐를 이용한 실험을 수행했습니다. Shank3B 유전자가 제거된 쥐는 개별적인 자폐증 행동을 보이나, 기존 기술의 한계로 인해 그들의 비정상적인 자유로운 사회적 행동을 완전히 이해하기는 어렵습니다. 연구팀은 SBeA 분석을 통해 Shank3B 녹아웃 마우스(KO)와 정상 마우스(야생형, WT) 사이에 사회적 행동에 유의미한 차이가 있음을 발견했습니다.

실험용 쥐는 KO-KO, WT-WT, WT-KO의 세 그룹으로 나뉘었습니다. 결과는 아래 그림과 같습니다. WT-WT군은 사회적 행동이 더 유연했고, KO-KO군은 WT-WT군보다 비정상적인 사회적 행동을 더 많이 보였으며, WT-KO군은 WT-WT군보다 더 긴밀한 사회적 상호작용을 보였다.

동시에, SBeA는 KO 마우스와 WT 마우스 사이의 미묘한 사회적 행동 모듈을 식별하고 구별하는 데 사용되었습니다. 군집 분석을 통해 이러한 모듈은 웅크리기, 탐색 행동, 동료 냄새 맡기, 독립적인 몸단장 등 9가지 주요 사회적 행동으로 통합되었습니다.

세 그룹의 사회적 행동은 다음과 같습니다.

WT-WT 그룹(녹색)은 더 많은 이질 조절과 탐색적 행동을 보였으며, 이는 친사회성을 반영합니다.

KO-KO 그룹(주황색)은 비정상적인 사회적 행동을 더 많이 보였고, 운동 능력과 사회적 참신성이 낮았으며, 이러한 비정상적인 행동은 반사회적 행동을 나타낼 수 있습니다.

WT-KO 그룹(보라색)에서 관찰된 사회적 행동은 주로 동료 냄새 맡기와 독립적인 몸단장이었습니다. 호기심이 많은 WT 마우스에서는 동반 후각이 더 흔했고, 독립적으로 털을 손질하는 것은 KO 마우스가 WT 마우스를 모방하는 행동일 수 있습니다.

이 결과는 SBeA가 유전적으로 돌연변이된 동물의 사회적 행동을 구별할 수 있을 뿐만 아니라, 유전적 돌연변이와 관련된 미묘한 사회적 행동 모듈도 식별할 수 있음을 보여줍니다.

SBeA의 보편성: 다양한 종과 환경에서의 분석

연구팀은 SBeA가 다양한 동물 종과 실험 환경에서 일반화될 수 있는지 평가하기 위해 새와 개를 이용한 연구를 수행했습니다.

SBeA 테스트의 난이도를 높이기 위해 실험에 참여한 동물들은 가능한 한 비슷하게 생겼습니다. 이 연구에서는 새와 개 데이터를 사회적 행동 지도에 매핑하여 새와 개에 각각 해당하는 사회적 행동 범주 34개와 15개를 식별하고(그림 c 및 g), 해당 범주의 일반적인 사례를 3D로 시각화했습니다(그림 d 및 h).

연구 결과에 따르면, SBeA의 3D 자세 추적 기술은 새의 발톱이 꼬리깃에 닿는 동작을 식별할 수 있으며, 개의 3D 자세 추적 기술은 누워 있는 것과 같은 폐쇄 상황에 대처할 수 있습니다.

SBeA의 장점: 몇 번의 샷 학습 프레임워크

2021년, 선전 첨단기술 연구소의 웨이펑페이 연구팀은 2년 동안 독자적으로 개발한 행동 수집 장비를 사용하여 동물의 3차원 동작 자세를 얻었습니다. 그들은 동물 행동의 언어적 계층 구조에 기초하여 계층적 동물 행동 분해 모델을 제안했는데, 이는 연속적이고 복잡한 행동을 사람이 이해할 수 있는 행동 모듈로 단순화했습니다. 이 연구에서는 자폐증 모델 마우스에 대한 행동 식별을 실시하였고, 1초 미만의 수준에서 마우스의 특징적인 행동 이상을 자동으로 정확하게 식별하는 데 성공했습니다.

본 논문의 SBeA 아키텍처는 2021년에 제안된 일반적인 동물 3차원 행동 맵 프레임워크인 "행동 아틀라스"를 더욱 확장한 것으로, 동물의 사회적 행동을 분류하기 위한 것입니다.

SBeA가 사용하는 소수의 샷 학습 프레임워크는 다중 동물의 3D 포즈 추정을 위해 수동으로 주석이 달린 프레임이 비교적 적게 필요하므로 레이블이 없는 신원 인식이 가능하고 사회적 행동 분류를 위해 비지도 학습을 적용할 수 있습니다. 이러한 데이터 생성 전략은 대규모의 광범위하게 레이블이 지정된 데이터 세트에 대한 의존도를 줄이고 레이블이 지정되지 않은 더 많은 양의 데이터에 적용할 수 있습니다.

전이 학습(대규모 데이터 세트에서 사전 학습된 모델을 활용한 다음 특정 작업에 맞게 더 작은 데이터 세트에 맞게 미세 조정) 및 데이터 증강(자르기, 회전 또는 색상 조정과 같은 기술을 사용하여 기존 데이터에서 새로운 데이터 포인트를 생성하여 학습 데이터 세트의 크기를 늘리는 것)과 같은 소수 샷 학습 프레임워크는 엄청난 잠재력을 가지고 있으며 AI 연구에서 점점 더 인기를 얻고 있습니다.

참고문헌:
1.https://www.nature.com/articles/s42256-023-00776-5
2.https://www.siat.ac.cn/kyjz2016/202401/t20240109_6952837.html