Spirit LM: Interleaved Spoken and Written Language Model

Wir stellen Spirit LM vor, ein grundlegendes multimodales Sprachmodell, das frei Text und Sprache mischt. Unser Modell basiert auf einem vortrainierten Text-Sprachmodell mit 7 Milliarden Parametern, das wir durch kontinuierliches Training auf Text- und Sprach-Einheiten auf die Sprachmodality erweitern. Sprach- und Textsequenzen werden als ein einziges Token-Stream verkettet und mit einer wortbasierten Wechselmethodik unter Verwendung einer kleinen, automatisch kuratierten parallelen Sprach-Text-Korpus trainiert. Spirit LM ist in zwei Versionen verfügbar: eine Base-Version, die Sprachphonetische Einheiten (HuBERT) nutzt, und eine Expressive-Version, die zusätzlich zur phonetischen Einheit auch Tonhöhe und Stil-Einheiten zur Modellierung von Ausdruckskraft verwendet. In beiden Versionen werden Texte mit subword BPE-Token kodiert. Das resultierende Modell zeigt sowohl die semantischen Fähigkeiten von Textmodellen als auch die expressiven Fähigkeiten von Sprachmodellen. Darüber hinaus zeigen wir, dass Spirit LM neue Aufgaben in einer Few-Shot-Weise über verschiedene Modalitäten hinweg erlernen kann (z. B. ASR, TTS, Spracherkennung). Wir stellen Modellgewichte und Inference-Code zur Verfügung.