HyperAIHyperAI

Command Palette

Search for a command to run...

UniverSLU:自然言語指示を用いた多様なタスクにおける汎用音声言語理解

Siddhant Arora Hayato Futami Jee-weon Jung Yifan Peng Roshan Sharma Yosuke Kashiwagi Emiru Tsunoo Karen Livescu Shinji Watanabe

概要

最近の研究では、マルチタスク機能を備えた大規模言語モデルが活用されており、自然言語によるプロンプトによってモデルの振る舞いを誘導することで、特定タスク向けモデルを上回る性能を達成している。こうした動機から、我々は「一つのモデルでさまざまな音声言語理解(SLU)タスクを統合的に実行できるか」という問いを提起する。まず、事前学習済みの自動音声認識(ASR)モデルを、単一トークンによるタスク指定子を用いて他のタスクに適応させるアプローチを検討する。さらに、インストラクションチューニング(instruction tuning)——すなわち、タスクを自然言語による指示で記述し、その後にラベル選択肢のリストを提示する形でのファインチューニング——により、このアプローチを強化する。この手法により、推論時に既知のタスクに対して新たなタスク記述に対しても一般化が可能となり、ユーザーインターフェースの利便性が向上する。本研究では、17のデータセットおよび9の言語にまたがる12種類の音声分類およびシーケンス生成タスクに対し、単一のマルチタスク学習モデル「UniverSLU」の有効性を実証した。多数のタスクにおいて、UniverSLUは競争力のある性能を達成しており、場合によっては特定タスク向けモデルを上回ることも確認された。さらに、ゼロショット能力を評価した結果、既知のタスクタイプに関して、新しいデータセットや言語に対してもモデルが良好に一般化することが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
UniverSLU:自然言語指示を用いた多様なタスクにおける汎用音声言語理解 | 記事 | HyperAI超神経