whisper-large-v3-turbo: أسرع بثمانية أضعاف من large-v3 مع عدم وجود أي فقدان في الجودة تقريبًا

1. مقدمة البرنامج التعليمي

Whisper هو نموذج التعرف على الكلام للأغراض العامة. يتم تدريبه على مجموعة كبيرة ومتنوعة من البيانات الصوتية ويمكنه القيام بذلكمهام متعددة مثل التعرف على الكلام متعدد اللغات وترجمة الكلام.

• التعرف على الكلام متعدد اللغات: التعرف تلقائيًا على اللغة في الصوت وتحويلها إلى اللغة الأصلية للإخراج
• ترجمة اللغة: بناءً على التعرف، تتم ترجمة اللغة إلى اللغة الصينية (افتراضيًا) للإخراج

في حدث DevDay الذي أقيم في الأول من أكتوبر 2024، أعلنت OpenAI عن إطلاق نموذج نسخ الكلام Whisper large-v3-turbo، والذي يحتوي على إجمالي 809 مليون معلمة مع عدم وجود أي خسارة في الجودة تقريبًا.أسرع بـ 8 مرات من الإصدار 3 الكبير

نموذج نسخ الكلام Whisper large-v3-turbo هو نسخة محسنة من large-v3 ويحتوي على 4 طبقات فك تشفير فقط، مقارنة بـ large-v3 الذي يحتوي على 32 طبقة. إجمالي النموذج 809 مليون معلمة، أكبر قليلاً من النموذج المتوسط الذي يحتوي على 769 مليون معلمة، ولكنه أصغر بكثير من النموذج الكبير الذي يحتوي على 1.55 مليار معلمة.والحجم المطلوب من VRAM هو 6 جيجابايت، في حين أن النموذج الكبير يتطلب 10 جيجابايت.

2. خطوات التشغيل

بعد بدء تشغيل الحاوية، انقر فوق عنوان API للدخول إلى واجهة الويب

نقدم ثلاث وظائف للتعرف على الكلام (النسخ) أو الترجمة (الترجمة):

• الميكروفون استخدم الجهاز مباشرةً للتسجيل في الوقت الفعلي
• تحميل ملف صوتي بدون اتصال بالإنترنت
• فيديو يوتيوب على الإنترنت

1. يستخدم الميكروفون الجهاز مباشرةً للتسجيل في الوقت الفعلي

انقر الميكروفون (افتراضي)استخدم ميكروفون الجهاز لتسجيل الصوت. بعد التسجيل، سيتم تحميل الصوت إلى المنصة، حدد النسخ أو الترجمة، ثم انقر فوق إرسال لتوليد النص المحدد. (قد تكون الترجمة غير دقيقة لأسباب تتعلق بأداء النموذج)

2. تحميل ملف صوتي صوتي غير متصل بالإنترنت

انقر ملف صوتيقم بتحميل أو سحب الصوت الذي تريد تنفيذه إلى الواجهة، ثم حدد النسخ أو الترجمة، ثم انقر فوق إرسال لتوليد النص المحدد.

3. فيديو يوتيوب عبر الإنترنت (بسبب مشاكل في الشبكة، قد لا يتم التعرف عليه ويتطلب محاولات متعددة. العرض التوضيحي للإشارة فقط)

تصفح صفحة اليوتيوب وابحث عن الفيديو الذي تريده. انقر فوق "مشاركة" على اليمين وسيظهر عنوان URL. انسخ هذا الرابط في مربع النص الموجود على صفحة الويب. رابط اليوتيوب  ، حدد "نسخ" أو "ترجمة"، ثم انقر فوق "إرسال" لتوليد النص المحدد.

التبادل والمناقشة

🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓