초록
영상 내 인간의 신체 궤적은 행동을 식별하는 데 중요한 정보로 작용한다. 특히 수어에서는 이러한 신체 궤적이 연속 프레임 간 손과 얼굴의 움직임을 통해 주로 전달된다. 그러나 현재의 지속적 수어 인식(Continuous Sign Language Recognition, CSLR) 기법들은 일반적으로 각 프레임을 독립적으로 처리하기 때문에, 프레임 간 궤적을 효과적으로 포착하지 못해 특정 수어를 정확히 식별하는 데 한계가 있다. 이 문제를 해결하기 위해 본 연구에서는 프레임 간 신체 궤적을 명시적으로 캡처하고 활용할 수 있는 상관망(CorrNet)을 제안한다. 구체적으로, 현재 프레임과 인접 프레임 간의 동적 상관관계를 계산하여 모든 공간 패치의 움직임 궤적을 식별하는 상관 모듈을 도입한다. 이후 상관 모듈에서 생성된 결과를 바탕으로 신체 궤적을 강조하는 식별 모듈을 제안한다. 이를 통해 생성된 특징은 국소적인 시간적 움직임을 종합적으로 파악할 수 있게 되어 수어 식별에 유리한 정보를 제공한다. 특히 신체 궤적에 특별한 주목을 두고 설계된 점에서, CorrNet은 PHOENIX14, PHOENIX14-T, CSL-Daily, CSL 등 네 개의 대규모 데이터셋에서 새로운 최고 성능(SOTA)을 달성하였다. 기존의 공간-시간 추론 기법들과의 광범위한 비교를 통해 CorrNet의 효과성이 입증되었으며, 시각화 결과는 인접 프레임 간 인간 신체 궤적을 효과적으로 강조함으로써 모델의 성능 향상에 기여함을 보여준다.