音声言語理解における自動音声認識は今も必要か？

スプーケン言語理解（SLU）タスクは、通常、音声を自動音声認識（ASR）で文字起こしした後に、その出力をテキストベースのモデルに供給するというアプローチで解決される。近年、音声データに対する自己教師あり表現学習の進展は、主にASR部の性能向上に注力してきた。本研究では、音声表現学習がSLUにおけるASRの代替として十分に成熟したかどうかを検証する。我々は、最先端のASR出力と、真値テキスト、およびwav2vec 2.0から得られる学習された音声特徴量を、新しい音声ベースの固有名称抽出タスク、実世界の緊急通報データを用いた心停止検出タスク、および既存の2つのSLUベンチマークへの入力として比較した。その結果、3つの分類タスクにおいて、学習された音声特徴量がASR出力よりも優れた性能を示した。一方、機械翻訳タスクにおいては、依然としてASR出力がより良い選択肢であることが明らかになった。本研究では、wav2vec 2.0の表現が未知語（out-of-vocabulary words）に対して内在的に高いロバスト性を持つことこそが、優れた性能の鍵であると強調している。