다단계 RGB 기반 전이 학습 파이프라인을 통한 손 활동 인식

제1인칭 손 활동 인식은 특히 데이터가 부족할 경우 도전적인 과제이다. 본 논문에서는 제한된 데이터 환경에서 제1인칭 RGB 기반 손 활동 인식을 위한 저비용의 다단계 학습 파이프라인을 제안함으로써 이 도전에 대응한다. 주어진 RGB 이미지 활동 시퀀스에 대해, 첫 번째 단계에서는 사전 훈련된 신경망(NN)을 이용하여 관심 영역(ROI)을 추출한다. 두 번째 단계에서는 사전 훈련된 딥 신경망을 활용하여 고수준의 공간적 특징을 추출한다. 세 번째 단계에서는 시계열적 의존성을 학습한다. 마지막 단계에서는 사전에 학습된 시계열 의존성에 대해 후처리 융합(후-퓨전, post-fusion) 전략을 적용하여 손 활동 시퀀스 분류기를 학습한다. 두 개의 실세계 데이터셋을 대상으로 수행한 실험 결과, 제안하는 파이프라인이 최신 기술 수준(SOTA)의 성능을 달성함을 확인할 수 있었다. 또한, 제안된 파이프라인이 제한된 데이터에서도 우수한 성능을 보임을 입증하였다.