CleanUNet 2: 웨이브폼과 스펙트로그램 기반의 하이브리드 음성 노이즈 제거 모델

이 연구에서는 파형 소음 제거기와 스펙트로그램 소음 제거기의 장점을 결합하여 두 분야의 최적 성능을 동시에 달성하는 음성 소음 제거 모델인 CleanUNet 2를 제안한다. CleanUNet 2는 대표적인 음성 합성 기법에 영감을 받아, 파형 모델과 스펙트로그램 모델로 구성된 이단계 프레임워크를 채택한다. 구체적으로, 최신 기술 수준의 파형 소음 제거기인 CleanUNet을 기반으로 하되, 스펙트로그램 소음 제거기로부터 예측된 스펙트로그램을 입력으로 활용함으로써 성능을 추가로 향상시킨다. 다양한 객관적 및 주관적 평가에서 CleanUNet 2가 기존 방법들을 모두 능가함을 실험을 통해 입증하였다.