10일 전
정교화되고 효율적인 모델을 통한 실용적인 리핑리딩 연구
Pingchuan Ma, Brais Martinez, Stavros Petridis, Maja Pantic

초록
리핑(리핑)은 신경망의 부흥으로 인해 많은 발전을 이뤘다. 최근 연구들은 최적의 아키텍처를 탐색함으로써 성능을 향상시키거나 일반화 능력을 개선하는 데 초점을 맞추고 있다. 그러나 현재의 방법론과 실제 응용 시나리오에서 리핑 모델을 효과적으로 구현하기 위한 요구사항 사이에는 여전히 큰 격차가 존재한다. 본 연구에서는 이러한 격차를 크게 좁히는 일련의 혁신을 제안한다. 먼저, 자기-디스틸리케이션(self-distillation) 기법을 활용하여 LRW 및 LRW-1000 데이터셋에서 기존 최고 성능을 크게 상회하는 88.5%, 46.6%의 정확도를 달성한다. 둘째, 새로운 심층 분리형 시간적 컨볼루션 네트워크(DS-TCN) 헤드를 포함한 일련의 아키텍처 개선을 제안함으로써 원래 모델(이미 상당히 효율적인 모델)의 계산 비용을 극도로 낮춘다. 셋째, 지식 디스틸리케이션 기법이 경량 모델의 성능을 회복하는 데 매우 효과적임을 보여주며, 다양한 정확도-효율성 트레이드오프를 가진 모델군을 제안한다. 특히, 가장 유망한 경량 모델들은 현재 최고 수준의 성능을 달성하면서도 계산 비용은 8.2배, 파라미터 수는 3.9배 감소하는 결과를 보였다. 이러한 성과는 리핑 모델의 실용적 응용을 가능하게 할 것으로 기대된다.