2달 전

SSM을 ConvNets로: 최적의 텐서 축약을 이용한 상태 공간 모델링

Yan Ru Pei
SSM을 ConvNets로: 최적의 텐서 축약을 이용한 상태 공간 모델링
초록

우리는 Centaurus를 소개합니다. Centaurus는 일반화된 상태공간 모델(SSM) 블록으로 구성된 네트워크 클래스로, 훈련 중 SSM 연산을 텐서 축약으로 처리할 수 있습니다. 각 SSM 블록에 대해 훈련 효율성을 최대화하기 위해 텐서 축약의 최적 순서를 체계적으로 결정할 수 있습니다. 이는 깊이별 분리 구성을 주로 사용하는 것보다 더 유연하게 SSM 블록을 설계할 수 있는 가능성을 제공합니다. 새로운 설계 선택은 그룹 합성곱, 전체 합성곱, 병목 블록 등 전통적인 합성곱 블록에서 영감을 받습니다. 우리는 이러한 블록들의 혼합을 통해 네트워크 크기와 성능, 그리고 훈련과 추론 시 메모리 및 계산 효율성 사이의 균형을 맞추어 Centaurus 네트워크를 설계하였습니다. 실험 결과, 이 이종 네트워크 설계가 단일 종류의 네트워크 설계보다 원시 오디오 처리 작업(키워드 인식, 음성 잡음 제거, 자동 음성 인식(ASR))에서 우수한 성능을 보임을 확인하였습니다. 특히 ASR에서는 Centaurus가 비선형 재귀(LSTMs), 명시적 합성곱(CNNs), 또는 (대체) 주의 메커니즘 없이 완전히 상태공간 기반으로 만들어질 수 있는 첫 번째 경쟁력 있는 성능을 가진 네트워크입니다. 소스 코드는 https://openreview.net/forum?id=PkpNRmBZ32에서 부록 자료로 제공됩니다.

SSM을 ConvNets로: 최적의 텐서 축약을 이용한 상태 공간 모델링 | 최신 연구 논문 | HyperAI초신경