SubUNets: 엔드투엔드 손 모양 및 연속 수어 인식

우리는 동시 정렬 및 인식 문제(이를 "시퀀스-투-시퀀스" 학습이라 부름)를 해결하기 위한 새로운 딥러닝 접근법을 제안한다. 본 방법은 문제를 여러 전문적 전문 시스템으로 분해하여, 이를 '서브유넷(SubUNets)'이라고 명명한다. 이러한 서브유넷 간의 공간-시간적 관계를 모델링함으로써 작업을 해결하면서도, 전체 시스템이 엔드 투 엔드(end-to-end)로 훈련될 수 있도록 한다. 이 접근법은 인간의 학습 및 교육 기법을 모방하며, 여러 중요한 장점을 지닌다. 서브유넷을 통해 특정 도메인에 대한 전문 지식을 중간 표현 형태에 적절히 반영할 수 있으며, 서로 관련된 다양한 작업 간에 암묵적인 전이 학습(transfer learning)을 수행할 수 있다. 이는 더 다양한 데이터 소스를 활용할 수 있도록 한다. 실험을 통해 이러한 특성들이 학습 문제를 더 효과적으로 제약함으로써 종합적인 인식 시스템의 성능을 크게 향상시킴을 입증한다. 제안된 기법은 수어 인식이라는 도전적인 분야에 적용되었으며, 기존 기법 대비 30% 이상 우수한 손 모양 인식 성능을 달성함으로써 최신 기술 수준의 성과를 보였다. 또한, 인식을 위한 서브시퀀스를 분할하기 위한 정렬 단계 없이도 이전 연구와 비슷한 수준의 수어 인식 성능을 달성할 수 있었다.