시간적 FiLM: 특성별 조정을 통한 장거리 시퀀스 종속성 캡처

시퀀스 입력(텍스트, 오디오, 유전자 데이터 등) 내의 장거리 의존성(long-range dependencies)을 정확하게 표현하는 것은 딥러닝 분야에서 핵심적인 과제이다. 피드포워드 컨볼루션 모델은 유한한 수용영역(receptive field) 내의 특징 상호작용만을 포착할 뿐이며, 순환 구조(recurrent architectures)는 소실되는 기울기(vanishing gradients)로 인해 느리고 학습이 어려운 문제가 있다. 본 연구에서는 적응형 배치 정규화(adaptive batch normalization) 및 그 확장 기법들에서 영감을 받아 제안한 새로운 아키텍처 구성 요소인 시간적 특징별 선형 조절(Temporal Feature-Wise Linear Modulation, TFiLM)을 제시한다. TFiLM은 순환 신경망을 활용하여 컨볼루션 모델의 활성화 값을 조절함으로써, 최소한의 계산 부담으로 컨볼루션 시퀀스 모델의 수용영역을 확장한다. 실증적으로, TFiLM은 텍스트 분류 및 오디오 슈퍼리졸루션을 포함한 다양한 생성형 및 구분형 학습 과제에서 피드포워드 신경망의 학습 속도와 정확도를 크게 향상시킴을 확인하였다.