منذ 17 أيام

Seed-ASR: فهم الكلام المتنوع والسياقات باستخدام التعرف على الصوت المستند إلى LLM

Ye Bai, Jingping Chen, Jitong Chen, Wei Chen, Zhuo Chen, Chuang Ding, Linhao Dong, Qianqian Dong, Yujiao Du, Kepan Gao, Lu Gao, Yi Guo, Minglun Han, Ting Han, Wenchao Hu, Xinying Hu, Yuxiang Hu, Deyu Hua, Lu Huang, Mingkun Huang, Youjia Huang, Jishuo Jin, Fanliu Kong, Zongwei Lan, Tianyu Li, Xiaoyang Li, Zeyang Li, Zehua Lin, Rui Liu, Shouda Liu, Lu Lu, Yizhou Lu, Jingting Ma, Shengtao Ma, Yulin Pei, Chen Shen, Tian Tan, Xiaogang Tian, Ming Tu, Bo Wang, Hao Wang, Yuping Wang, Yuxuan Wang, Hanzhang Xia, Rui Xia, Shuangyi Xie, Hongmin Xu, Meng Yang, Bihong Zhang, Jun Zhang, Wanyi Zhang, Yang Zhang, Yawei Zhang, Yijie Zheng, Ming Zou

عرض تفاصيل الورقة البحثية

Seed-ASR: فهم الكلام المتنوع والسياقات باستخدام التعرف على الصوت المستند إلى LLM

الملخص

تتطلب النماذج الحديثة للتمييز التلقائي للصوت (ASR) تحويلًا دقيقًا لإشارات الصوت المتنوعة (من مجالات مختلفة، ولهجات، ولهجات، وأساليب نطق متنوعة) مع الأخذ بعين الاعتبار المعلومات السياقية المحددة في سياقات تطبيقية مختلفة. تُظهر النماذج النهائية التقليدية المدمجة مع نماذج لغوية إضافية أداءً جيدًا، ولكن بشكل رئيسي في السيناريوهات التي تتطابق فيها البيانات، وتشهد الآن تباطؤًا تدريجيًا في التقدم، حيث تقترب من حدود محددة. في هذه الدراسة، نقدم نموذج Seed-ASR، وهو نموذج لتمييز الصوت يعتمد على نموذج لغة كبير (LLM). تم تطوير Seed-ASR بناءً على إطار عمل نموذج اللغة الكبير المشروط بالإشارة الصوتية (AcLLM)، حيث يتم استغلال قدرات نماذج LLM من خلال إدخال تمثيلات صوتية مستمرة مع معلومات سياقية مباشرة إلى نموذج LLM. من خلال التدريب على نطاق واسع بمرحلتين، وتنمية القدرات المعرفة بالسياق في نموذج LLM، يُظهر Seed-ASR تحسنًا ملحوظًا مقارنةً بالنماذج النهائية على مجموعات تقييم شاملة، تشمل عدة مجالات، ولهجات/لهجات، ولغات متعددة. علاوةً على ذلك، يمكن نشر Seed-ASR بشكل إضافي لدعم الاحتياجات المحددة في سياقات مختلفة دون الحاجة إلى نماذج لغوية إضافية. مقارنةً بالنماذج الكبيرة الحديثة لتمييز الصوت، حقق Seed-ASR خفضًا بنسبة 10% إلى 40% في معدلات الأخطاء الكلامية (أو الحرفية، بالنسبة للصينية) على مجموعات اختبار عامة باللغتين الصينية والإنجليزية، مما يُظهر بشكل مُتزايد كفاءة أداء عالية جدًا.