メルスペクトログラム予測に基づくWaveNetの条件付けによる自然なTTS合成

本論文では、テキストから直接音声合成を行うニューラルネットワークアーキテクチャであるTacotron 2について説明します。このシステムは、文字埋め込みをメルスケールスペクトログラムにマッピングする再帰的なシーケンス・ツー・シーケンス特徴予測ネットワークと、そのスペクトログラムから時間領域の波形を合成するボコーダとして機能する改良されたWaveNetモデルで構成されています。当社のモデルは、プロによって録音された音声の平均意見得点（MOS）$4.58$と比較して、$4.53$というMOSを達成しています。設計選択肢の妥当性を検証するために、システムの主要なコンポーネントに関する削除研究を行い、WaveNetへの入力として言語特徴量、持続時間、および$F_0$特徴量ではなくメルスペクトログラムを使用することの影響を評価します。さらに、コンパクトな音響中間表現を使用することでWaveNetアーキテクチャが大幅に簡素化されることを示しています。