スピリットLM：交互型音声・書記言語モデル

我々は、テキストと音声を自由に混合できる基盤となるマルチモーダル言語モデル「Spirit LM」を紹介する。本モデルは、70億パラメータの事前学習済みテキスト言語モデルを基盤とし、テキストおよび音声ユニットを継続的に学習させることで音声モダリティへ拡張した。音声とテキストのシーケンスは単一のトークンストリームとして連結され、小規模な自動的に収集された音声-テキスト並列コーパスを用いて、単語レベルのインターリーブ手法により学習される。Spirit LMは2つのバージョンを提供する：一つは音声の音素ユニット（HuBERT）を用いるBaseバージョンであり、もう一つは音素ユニットに加えて音高およびスタイルユニットを用いて表現性をモデル化するExpressiveバージョンである。両バージョンとも、テキストはサブワードBPEトークンで符号化される。このモデルは、テキストモデルの意味的表現能力と音声モデルの表現的特性を両方備えている。さらに、Spirit LMが複数のモダリティ間で少数の例（few-shot）により新たなタスクを学習できることを実証した（例：音声認識（ASR）、音声合成（TTS）、音声分類）。本研究では、モデル重みおよび推論コードを公開する。