要約
我々の以前の研究では、単一ヘッドのアテンションエンコーダー-デコーダーモデルが会話音声認識において最先端の結果を達成できることを示しました。本論文では、Switchboard 300および2000の両方でさらに結果を改善しています。改良された最適化手法、話者ベクトル埋め込み、および代替的な音声表現を使用することで、Switchboard-300におけるLSTMシステムの認識エラーを相対的に4%削減しました。デコーダーモデルに対する確率比アプローチによる補正は、外部言語モデルをより効率的に統合することを可能とし、非常にシンプルなLSTMモデルを使用してHub5'00のSWBおよびCHM部分でそれぞれ5.9%および11.5%のWER（Word Error Rate）を報告しています。また、本研究では最近提案されたConformerとより高度な自己注意に基づく言語モデルについても検討しています。全体的には、ConformerはLSTMと同程度の性能を示しましたが、それらの組み合わせと改良された言語モデルでのデコードにより、Switchboard-300において新たな記録である5.0%と10.0%のWERをSWBおよびCHMで達成しました。これらの知見はSwitchboard-2000でも確認され、新しい最先端となる結果が報告され、ベンチマークの限界に実質的に到達しています。