マスク自動符号化器による音声認識

本稿では、画像ベースのマスク自動符号化器（MAE）の単純な拡張手法を提案し、音声スペクトログラムからの自己教師付き表現学習を実現する。MAEにおけるTransformerエンコーダ・デコーダ構造を踏襲し、Audio-MAEは高いマスク率で音声スペクトログラムのパッチをエンコードし、マスクされていないトークンのみをエンコーダ層に通す。その後、デコーダはエンコードされたコンテキストをマスクトークンでパディングし、再順序付けた上で入力スペクトログラムの再構成を実行する。音声スペクトログラムは時間的・周波数的帯域において局所的に強い相関を持つことから、デコーダに局所窓注意力（local window attention）を組み込むことが有効であることがわかった。その後、ターゲットデータセット上で低マスク率でエンコーダをファインチューニングする。実証的な評価において、Audio-MAEは6つの音声および音声分類タスクにおいて、外部の教師あり事前学習を用いた他の最近のモデルを上回る新たなSOTA（最先端）性能を達成した。コードおよびモデルは、https://github.com/facebookresearch/AudioMAE にて公開される。