2달 전

다중 해상도 합성곱 메모리를 이용한 시퀀스 모델링

Jiaxin Shi; Ke Alexander Wang; Emily B. Fox
다중 해상도 합성곱 메모리를 이용한 시퀀스 모델링
초록

주어진 작업에 중요한 순차 데이터 소스의 장거리 패턴을 효율적으로 포착하는 것은 근본적인 도전 과제를 제기합니다. 이 문제에 대한 인기 있는 접근 방식은 변환기(transformers)에서와 같이 브루트포스 열거 및 비교의 메모리 부담, 순환 신경망(recurrent neural networks)에서와 같은 복잡한 순차적 종속성의 계산 부담, 또는 많은 크기의 필터를 가진 합성곱 네트워크(convolutional networks)의 매개변수 부담 사이에서 절충점을 찾는 것입니다. 우리는 웨이블릿 기반 다중해상도 분석(wavelet-based multiresolution analysis)에서 영감을 받아 순차 모델링을 위한 새로운 구성 요소를 정의하였으며, 이를 멀티레즈레이어(MultiresLayer)라고 명명하였습니다. 우리 모델의 핵심 구성 요소는 입력 시퀀스에서 다중 스케일 추세를 포착하는 다중해상도 합성곱(multiresolution convolution)입니다. 우리의 멀티레즈컨브(MultiresConv)는 희소화된 인과 합성곱 트리(dilated causal convolution tree)에서 공유되는 필터로 구현할 수 있습니다. 따라서, 이 방법은 합성곱 네트워크의 계산적 이점과 웨이블릿 분해(wavelet decompositions)의 원칙적인 이론적 동기를 모두 활용합니다. 우리의 멀티레즈레이어는 구현이 간단하며, 상당히 적은 매개변수를 필요로 하며, 길이가 $N$인 시퀀스에 대해 최대 $\mathcal{O}(N\log N)$ 메모리 용량을 유지합니다. 그러나 이러한 레이어들을 쌓음으로써, 우리의 모델은 CIFAR-10, ListOps, 그리고 PTB-XL 데이터셋을 사용하여 여러 시퀀스 분류 및 자기회귀 밀도 추정 작업에서 최고 수준의 성능을 발휘합니다.

다중 해상도 합성곱 메모리를 이용한 시퀀스 모델링 | 최신 연구 논문 | HyperAI초신경