CKConv: 연속 데이터를 위한 연속 커널 합성곱

시퀀스 데이터를 위한 기존의 신경망 구조는 중요한 제한점을 가지고 있습니다. 순환 네트워크는 그래디언트 폭발과 소실, 짧은 효과적인 메모리 지평선, 그리고 순차적으로 학습되어야 하는 문제를 겪습니다. 컨벌루션 네트워크는 미지의 크기의 시퀀스를 처리할 수 없으며, 그들의 메모리 지평선은 사전에 정의되어야 합니다. 본 연구에서는 이러한 모든 문제를 CNNs의 컨벌루션 커널을 연속 함수로 표현함으로써 해결할 수 있음을 보여줍니다. 이로 인해 생성된 연속 커널 컨벌루션(Continuous Kernel Convolution, CKConv)은 단일 연산 내에서 병렬 방식으로 임의로 긴 시퀀스를 모델링할 수 있으며, 어떠한 형태의 재귀도 의존하지 않습니다. 우리는 연속 커널 컨벌루션 네트워크(Continuous Kernel Convolutional Networks, CKCNNs)가 여러 데이터셋에서 최고 수준의 결과를 얻는다는 것을 보여주며, 특히 그들의 연속적인 특성 덕분에 비균등 샘플링된 데이터셋과 불규칙하게 샘플링된 데이터를 원래 상태 그대로 처리할 수 있습니다. CKCNNs는 이러한 목적을 위해 설계된 신경 ODEs보다 빠르고 간단하게 동일하거나 더 우수한 성능을 나타냅니다.