17일 전

복소수 변환기: 복소수 시계열을 모델링하기 위한 프레임워크

Muqiao Yang, Martin Q. Ma, Dongyu Li, Yao-Hung Hubert Tsai, Ruslan Salakhutdinov
복소수 변환기: 복소수 시계열을 모델링하기 위한 프레임워크
초록

최근 몇 년간 딥러닝은 다양한 분야에서 큰 관심을 받고 있지만, 주요 딥러닝 모델들은 복소수를 거의 사용하지 않고 있다. 그러나 푸리에 변환을 거친 후 음성, 신호 및 오디오 데이터는 자연스럽게 복소수 값을 갖게 되며, 기존 연구들은 복소수 신경망이 더 풍부한 표현력을 가질 수 있음을 시사하고 있다. 본 논문에서는 시퀀스 모델링을 위한 기본 구조로 트랜스포머 모델을 활용하는 복소 트랜스포머(Complex Transformer)를 제안한다. 또한, 복소수 입력을 처리할 수 있도록 설계된 어텐션 메커니즘과 인코더-디코더 네트워크를 개발하였다. 제안된 모델은 MusicNet 데이터셋과 위상-직교(IQ) 신호 데이터셋에서 최신 기술 수준의 성능을 달성하였다.