시간적 FiLM: 특성별 변조를 통한 장기 시퀀스 의존성 포착

시퀀스 입력(텍스트, 오디오, 그리고 유전체 데이터를 포함)에서 장거리 의존성을 정확하게 포착하는 표현을 학습하는 것은 딥 러닝의 핵심 문제입니다. 피드포워드 컨볼루션 모델은 유한 수용 영역 내의 특성 상호작용만을 포착하지만, 순환 구조는 기울기 소실 문제로 인해 학습이 느리고 어려울 수 있습니다. 본 연구에서는 적응적 배치 정규화와 그 확장 방식에서 영감을 받은 새로운 구조 요소인 시간적 특성별 선형 변조(TFiLM, Temporal Feature-Wise Linear Modulation)를 제안합니다. 이 접근법은 최소한의 계산 부담으로 컨볼루션 시퀀스 모델의 수용 영역을 확장합니다. 경험적으로 TFiLM은 텍스트 분류와 오디오 슈퍼 리졸루션 등을 포함하는 다양한 생성 및 판별 학습 과제에서 피드포워드 신경망의 학습 속도와 정확도를 크게 개선시키는 것으로 확인되었습니다.