Uni-Sign: 대규모 통합 수화 이해를 향하여

수화 사전 학습은 다양한 수화 이해(SLU) 작업의 성능을 향상시키는 능력으로 인해 점점 더 많은 주목을 받고 있습니다. 그러나 기존 방법들은 종종 사전 학습과 미세 조정 사이의 간극으로 인해 최적의 결과를 얻지 못하는 경우가 많습니다. 이를 해결하기 위해, 우리는 이 간극을 대규모 생성형 사전 학습 전략과 혁신적인 미세 조정 패러다임을 통해 제거하는 통합 사전 학습 프레임워크인 Uni-Sign을 제안합니다. 첫째, CSL-News라는 대규모 중국 수화(CSL) 데이터셋을 소개합니다. 이 데이터셋은 1,985시간의 동영상과 텍스트 주석이 짝을 이루고 있어 효과적인 대규모 사전 학습을 가능하게 합니다. 둘째, Uni-Sign은 미세 조정 과정에서 하류 작업들을 단일 수화 번역(SLT) 작업으로 처리하여 사전 학습과 미세 조정 사이의 원활한 지식 전달을 보장합니다. 또한, 우리는 포즈와 RGB 정보를 효율적으로 융합하고 키포인트 오차를 해결하며 계산 효율성을 개선하기 위해事前가이드 융합(PGF) 모듈과 점수 인식 샘플링 전략을 도입하였습니다(“prior-guided fusion” 및 “score-aware sampling”). 여러 SLU 벤치마크에 걸친 광범위한 실험 결과, Uni-Sign이 다수의 하류 SLU 작업에서 최첨단 성능을 달성함을 입증하였습니다. 데이터셋과 코드는 github.com/ZechengLi19/Uni-Sign에서 이용할 수 있습니다.注：在翻译"事前가이드 융합(PGF) 模块"时，我使用了“事前가이드 융합(PGF) 모듈”。这里“事前加引导”被翻译为“事前가이드”，但考虑到这是技术术语，建议根据实际技术文档或领域内的通用译法进行调整。如果该术语在韩语中没有通用译法，可以保留英文并附上韩语解释。例如：“사전 가이드 융합(Prior-Guided Fusion, PGF) 모듈”。