HyperAIHyperAI
منذ 17 أيام

HyPoradise: منصة مفتوحة معيارية للتعرف على الكلام التوليدي باستخدام نماذج اللغة الكبيرة

Chen Chen, Yuchen Hu, Chao-Han Huck Yang, Sabato Macro Siniscalchi, Pin-Yu Chen, Eng Siong Chng
HyPoradise: منصة مفتوحة معيارية للتعرف على الكلام التوليدي باستخدام نماذج اللغة الكبيرة
الملخص

أصبحت أنظمة التعرف التلقائي على الكلام (ASR) قادرة على تحقيق التكافؤ البشري على عدة مجموعات بيانات شائعة ونظيفة للكلام بفضل التطورات في الشبكات العصبية العميقة. ومع ذلك، حتى أحدث الأنظمة في مجال ASR تُعاني من تدهور في الأداء عند مواجهة الظروف الصعبة، حيث أن النموذج الصوتي المدرب جيدًا يكون حساسًا تجاه التغيرات في مجال الكلام، مثل الضوضاء الخلفية. بشكل مفهوم، يتعامل البشر مع هذه المشكلة من خلال الاعتماد على معرفتهم اللغوية: إذ يتم عادةً استنتاج معنى المصطلحات الصوتية الغامضة من خلال المؤشرات السياقية، مما يقلل الاعتماد على الجهاز السمعي. مستوحى من هذا الملاحظة، نقدم أول معيار مفتوح المصدر يستخدم نماذج لغوية كبيرة (LLMs) خارجية لتصحيح أخطاء ASR، حيث توفر افتراضات الترجمة المُخرجة من عملية التفكيك N-best عناصر مفيدة لتنبؤ الترجمة الصحيحة. يمثل هذا النهج تحولًا جوهريًا عن الاستراتيجية التقليدية لإعادة تقييم النماذج اللغوية التي يمكنها فقط اختيار افتراض واحد كترجمة نهائية. يحتوي المعيار المقترح على مجموعة بيانات جديدة، تُسمى HyPoradise (HP)، تضم أكثر من 334,000 زوجًا من الافتراضات N-best والترجمات الدقيقة المقابلة لها عبر مجالات الكلام الشائعة. وباستخدام هذه المجموعة، نُقيّم ثلاث أنواع من تقنيات تصحيح الأخطاء المستندة إلى LLMs، باستخدام كميات مختلفة من أزواج الافتراضات المُصنفة والترجمات، ما يُحقّق تخفيضًا كبيرًا في معدل الخطأ الكلمي (WER). تُظهر الأدلة التجريبية أن التقنية المقترحة تحقق اختراقًا بتجاوزها الحد الأقصى لطرق إعادة الترتيب التقليدية. وبشكل أكثر إدهاشًا، يمكن لنموذج لغوي كبير مُعدّ بمنطق معقول وقادر على التوليد تصحيح الكلمات التي تُغفل في قائمة الافتراضات N-best. نُتيح نتائجنا للجمهور لتمكين مسارات قابلة للتكرار، مع نشر نماذج مُدرّبة مسبقًا، مما يُقدّم نموذجًا تقييميًا جديدًا لتصحيح أخطاء ASR باستخدام LLMs.

HyPoradise: منصة مفتوحة معيارية للتعرف على الكلام التوليدي باستخدام نماذج اللغة الكبيرة | أحدث الأوراق البحثية | HyperAI