Seq-U-Net: 효율적인 시퀀스 모델링을 위한 일차원 인과 U-Net

다ilated 필터를 사용하는 Wavenet 또는 Temporal Convolutional Network (TCN)와 같은 합성곱 신경망(CNNs)은 다양한 시퀀스 모델링 작업에서 좋은 결과를 보여주었습니다. 그러나 이러한 시퀀스의 장기 의존성을 효율적으로 모델링하는 것은 여전히 어려운 문제입니다. 이들 모델의 수용 영역(receptive field)은 층의 수에 따라 지수적으로 증가하지만, 각 층에서 매우 긴 특징 시퀀스에 대한 합성곱을 계산하는 것은 시간과 메모리를 많이 소비하여, 실제로 더 긴 수용 영역을 사용하는 것을 방해합니다. 효율성을 높이기 위해, 우리는 많은 관심 있는 특징들이 시간에 따라 천천히 변한다는 "느린 특징(slow feature)" 가설을 활용합니다. 이를 위해 다중 시간 스케일에서 특징을 계산하는 U-Net 구조를 사용하고, 이를 우리의 자기 회귀(auto-regressive) 시나리오에 맞게 인과적(causal) 합성곱으로 적응시킵니다. 우리의 모델("Seq-U-Net")은 언어 생성과 오디오 생성을 포함한 다양한 작업에 적용되었습니다. TCN과 Wavenet에 비해 우리의 네트워크는 모든 작업에서 유사한 성능을 달성하면서 특히 오디오 생성 실험에서는 훈련 및 추론 시간이 4배 이상 단축되는 등 일관되게 메모리와 계산 시간을 절약합니다.