3ヶ月前

CleanUNet 2:波形とスペクトログラムに基づくハイブリッド音声ノイズ除去モデル

Zhifeng Kong, Wei Ping, Ambrish Dantrey, Bryan Catanzaro
CleanUNet 2:波形とスペクトログラムに基づくハイブリッド音声ノイズ除去モデル
要約

本研究では、波形ノイズ除去モデルとスペクトログラムノイズ除去モデルの利点を統合し、両者の長所を兼ね備えた「CleanUNet 2」を提案する。CleanUNet 2は、波形モデルとスペクトログラムモデルを組み合わせた、近年広く採用されている音声合成手法をモデルにした二段階フレームワークを採用している。具体的には、最先端の波形ノイズ除去モデルであるCleanUNetを基盤とし、スペクトログラムノイズ除去モデルから予測されたスペクトログラムを入力として用いることで、その性能をさらに向上させている。本研究では、複数の客観的および主観的評価において、従来の手法を上回る性能を示すことを実証した。