시퀀스 길이에 걸쳐 비선형 순차 모델의 병렬화

순차 모델, 예를 들어 순환 신경망(RNN)과 신경미분방정식(Neural ODE)은 본질적인 순차적 성격으로 인해 오랫동안 느린 학습 속도에 시달려 왔다. 수년에 걸쳐 많은 연구자들이 순차 모델은 병렬화가 불가능하다고 여겨 이 격차가 지속되었다. 그러나 우리는 이러한 오랜 신념에 도전하며, 순차 모델의 GPU 평가 속도를 최대 1,000배까지 가속화하는 병렬 알고리즘을 제안한다. 이 알고리즘은 출력 정확도를 희생하지 않으면서도 순차 모델의 아키텍처에 특별한 구조가 필요하지 않으며, 다양한 아키텍처에 적용 가능하다. 본 방법을 사용하면 학습 결과에 유의미한 차이 없이 기존 순차적 방법보다 학습 속도가 10배 이상 빨라진다. 이러한 가속화된 학습을 기반으로, 17,000개의 시계열 샘플을 포함한 장기 시계열 분류 문제에서 게이트형 순환 단위(Gated Recurrent Unit, GRU)의 효과를 발견하였다. 본 연구는 장기 시계열 문제에 대한 비선형 순차 모델의 잠재력을 개척하기 위한 첫걸음이 되며, 학습 속도의 제약을 극복함으로써 이 분야의 새로운 가능성을 제시한다.