지속적 자기학습을 통한 부트스트랩 리믹싱 기반 음성 증강

우리는 음성 강화를 위한 간단하고 새로운 자기지도 학습 방법인 RemixIT을 제안한다. 제안하는 방법은 이전 연구들에서 제기된 제약을 극복하는 지속적인 자기학습 체계에 기반한다. 이전 연구들은 도메인 내 노이즈 분포에 대한 가정이나 정제된 타겟 신호에 대한 접근이 필요했지만, RemixIT은 이러한 제약을 극복한다. 구체적으로, 분리용 교사 모델은 도메인 외 데이터셋에서 사전 학습되며, 도메인 내 혼합 신호 배치에 대해 추정된 타겟 신호를 추론하는 데 사용된다. 다음으로, 추정된 정제된 신호와 노이즈 신호를 재배열하여 인공적인 혼합 신호를 생성함으로써 혼합 과정을 부트스트랩한다. 마지막으로, 재배열된 추정된 소스 신호를 타겟으로 삼아 학습자 모델을 훈련시키며, 주기적으로 최신 학습자 모델을 사용하여 교사 모델의 가중치를 업데이트한다. 실험 결과, RemixIT은 다양한 음성 강화 과제에서 이전의 여러 최첨단 자기지도 학습 방법보다 우수한 성능을 보였다. 또한, RemixIT은 음성 강화 과제에 대한 반자율 및 무자율 도메인 적응을 원활하게 대체할 수 있으며, 어떤 분리 과제에도 일반적으로 적용 가능하며, 어떤 분리 모델과도 결합할 수 있다는 점에서 매우 유연하다.