초록
대부분의 딥 러닝 연구자들에게 시퀀스 모델링은 재귀적 네트워크와 동의어입니다. 그러나 최근 연구 결과는 컨볼루션 구조가 오디오 합성 및 기계 번역과 같은 작업에서 재귀적 네트워크를 능가할 수 있음을 나타냅니다. 새로운 시퀀스 모델링 작업이나 데이터셋이 주어졌을 때, 어떤 구조를 사용해야 할까요? 우리는 시퀀스 모델링을 위한 일반적인 컨볼루션 및 재귀적 구조를 체계적으로 평가합니다. 이 모델들은 재귀적 네트워크의 성능을 흔히 벤치마킹하는 다양한 표준 작업들에 걸쳐 평가됩니다. 우리의 결과는 간단한 컨볼루션 구조가 LSTM과 같은 전통적인 재귀적 네트워크보다 다양한 작업과 데이터셋에서 우수한 성능을 보이는 동시에 더 긴 효과적인 메모리를 보여줍니다. 우리는 시퀀스 모델링과 재귀적 네트워크 사이의 일반적인 연관성을 재고려해야 하며, 컨볼루션 네트워크를 시퀀스 모델링 작업의 자연스러운 출발점으로 여겨야 한다는 결론을 내립니다. 관련 연구를 지원하기 위해, 코드를 http://github.com/locuslab/TCN 에 공개하였습니다.