نظرة عامة على المشروع

أُطلق LiveCC لأول مرة في 25 أبريل 2025 من قِبل مختبر العروض في جامعة سنغافورة الوطنية وشركة ByteDance. LiveCC هو مشروع نموذج لغة فيديو يُركز على نسخ الكلام عبر البث المباشر على نطاق واسع. يهدف المشروع إلى تدريب أول نموذج لغة فيديو مزود بإمكانيات التعليق الفوري من خلال طريقة بث مبتكرة للتعرف التلقائي على الكلام (ASR)، محققًا بذلك أحدث التقنيات (SOTA) في كل من معايير البث المباشر وغير المباشر. نتائج البحث ذات الصلة هي:LiveCC: برنامج ماجستير في القانون لتعلم الفيديو مع بث نسخ الكلام على نطاق واسع"، والتي تم تضمينها في CVPR 2025.

يستخدم هذا البرنامج التعليمي بطاقة RTX A6000 واحدة كمورد.

أمثلة المشاريع

خطوات التشغيل

1. بعد بدء تشغيل الحاوية، انقر فوق عنوان API للدخول إلى واجهة الويب

2. بمجرد دخولك إلى صفحة الويب، يمكنك التفاعل مع النموذج

إذا تم عرض "بوابة سيئة"، فهذا يعني أن النموذج قيد التهيئة. نظرًا لأن النموذج كبير الحجم، يرجى الانتظار لمدة 1-2 دقيقة وتحديث الصفحة.

يوفر هذا البرنامج التعليمي اختبارين للوحدات: وحدة التعليق في الوقت الفعلي ووحدة المحادثة.

لا تقم بتبديل النماذج بشكل متكرر لتجنب ازدحام الموارد.

وظائف كل وحدة هي كما يلي:

التعليق في الوقت الحقيقي

التبادل والمناقشة

🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓

معلومات الاستشهاد

معلومات الاستشهاد لهذا المشروع هي كما يلي:

@inproceedings{livecc,
    author       = {Joya Chen and Ziyun Zeng and Yiqi Lin and Wei Li and Zejun Ma and Mike Zheng Shou},
    title        = {LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale},
    booktitle    = {CVPR},
    year         = {2025},
}