TUNet: 트랜스포머와 자기 지도 사전 학습을 기반한 블록 온라인 대역폭 확장 모델

우리는 대역폭 확장을 달성하기 위해 시간 특성별 선형 변조 (TFiLM, Temporal Feature-wise Linear Modulation) 모델의 블록-온라인 변형을 소개합니다. 제안된 아키텍처는 TFiLM의 UNet 백본을 단순화하여 추론 시간을 줄이고, 병목 현상에서 성능 저하를 완화하기 위해 효율적인 트랜스포머를 사용합니다. 또한, 자기 지도 사전 학습과 데이터 증강 기법을 활용하여 대역폭 확장 신호의 품질을 향상시키고 다운샘플링 방법에 대한 민감성을 감소시킵니다. VCTK 데이터셋에 대한 실험 결과는 제안된 방법이 침입적 및 비침입적 지표 모두에서 최근의 여러 베이스라인보다 우수한 성능을 보임을 확인하였습니다. 사전 학습과 필터 증강은 전체적인 성능 안정화와 향상에도 도움이 되었습니다.