AggPose: 유아 자세 추정을 위한 딥 아그리게이션 비전 트랜스포머

신생아의 움직임과 자세를 평가하면 경험 많은 소아과 전문의들이 신경발달 장애를 예측할 수 있으며, 관련 질환에 대한 조기 개입이 가능해진다. 그러나 최근의 인공지능 기반 인간 자세 추정 기법 대부분은 성인을 대상으로 개발되어 있으며, 신생아 자세 추정을 위한 공개 기준 데이터셋이 부족한 실정이다. 본 논문에서는 이러한 격차를 메우기 위해 신생아 자세 추정을 위한 데이터셋과, 전통적인 컨볼루션 연산을 초기 단계에서 사용하지 않고 빠르게 학습 가능한 전면 트랜스포머 기반의 새로운 프레임워크인 Deep Aggregation Vision Transformer(이하 AggPose)를 제안한다. AggPose는 특징 맵 내 고해상도 깊은 층의 집약을 가능하게 하며, Transformer + MLP 아키텍처를 고해상도 특징 맵 내에서의 다중 레벨 정보 융합으로 일반화함으로써, 다양한 시각적 수준 간의 정보 통합을 실현한다. AggPose는 COCO 자세 추정 데이터셋에서 사전 학습한 후, 새로 공개한 대규모 신생아 자세 추정 데이터셋에 적용하였다. 실험 결과, AggPose는 다양한 해상도 간의 다중 스케일 특징을 효과적으로 학습하며 신생아 자세 추정 성능을 크게 향상시켰다. 특히, 신생아 자세 추정 데이터셋에서 하이브리드 모델인 HRFormer과 TokenPose보다 우수한 성능을 보였다. 또한, COCO val 자세 추정에서 AggPose는 HRFormer보다 평균적으로 0.8 AP의 성능 향상을 기록하였다. 본 연구의 코드는 github.com/SZAR-LAB/AggPose에서 공개되어 있다.