초록
본 연구의 목적은 지속적 수어 인식(Continuous Sign Language Recognition, CSLR)을 위한 공간적 및 동적 특징의 효과적인 추출이다. 이를 달성하기 위해, 각 경로가 서로 다른 시간 해상도에서 작동하여 공간적 정보(손 모양, 얼굴 표정)와 동적 정보(운동)를 별도로 캡처하는 이중 경로 SlowFast 네트워크를 활용한다. 또한, CSLR의 특성에 맞게 정교하게 설계된 두 가지의 별개 특징 융합 방법을 제안한다. 첫째, 양방향 특징 융합(Bi-directional Feature Fusion, BFF)은 동적 의미를 공간적 의미로, 공간적 의미를 동적 의미로 상호 전달하는 기능을 수행한다. 둘째, 경로 특징 강화(Pathway Feature Enhancement, PFE)는 보조 하위 네트워크를 통해 동적 및 공간적 표현을 풍부하게 하되, 추가적인 추론 시간이 필요하지 않도록 한다. 결과적으로, 본 모델은 공간적 표현과 동적 표현을 병렬적으로 강화한다. 제안하는 프레임워크가 PHOENIX14, PHOENIX14-T, CSL-Daily와 같은 대표적인 CSLR 데이터셋에서 기존 최고 성능을 상회함을 실험을 통해 입증하였다.