깊이 있는 복잡한 네트워크

현재 깊은 학습의 대부분의 구성 요소, 기술 및 아키텍처는 실수 값 연산과 표현을 기반으로 하고 있습니다. 그러나 순환 신경망에 대한 최근 연구와 오래된 기본 이론적 분석은 복소수가 더 풍부한 표현 능력을 가질 수 있으며, 노이즈에 견디는 메모리 검색 메커니즘을 촉진할 수 있음을 시사하고 있습니다. 이러한 매력적인 특성과 완전히 새로운 신경망 아키텍처를 열어젖힐 잠재력에도 불구하고, 복소수 값 깊은 신경망은 해당 모델 설계에 필요한 구성 요소가 부족하여 주변화되었습니다. 본 연구에서는 복소수 값 깊은 신경망을 위한 핵심 원자적 구성 요소를 제공하고 이를 컨벌루션 전방향 네트워크와 컨벌루션 LSTM에 적용합니다. 구체적으로, 우리는 복소수 컨벌루션을 활용하여 복소수 배치 정규화 알고리즘, 복소수 초기화 전략 등을 제시하며, 이를 단일 연결 훈련 방식에서 실험에 사용합니다. 우리는 이러한 복소수 값 모델이 실수 값 대응 모델들과 경쟁력 있다는 것을 입증합니다. 우리는 여러 컴퓨터 비전 작업, MusicNet 데이터셋을 사용한 음악 변환 작업, TIMIT 데이터셋을 사용한 음성 스펙트럼 예측 작업에서 깊은 복소수 모델들을 테스트하였습니다. 우리는 이러한 오디오 관련 작업에서 최고 수준의 성능을 달성하였습니다.