نظرة عامة على المشروع

يُعدّ LiveCC، الذي أُطلق لأول مرة في 25 أبريل 2025 من قِبل مختبر العروض التابع لجامعة سنغافورة الوطنية وشركة ByteDance، مشروعًا لنمذجة لغوية ضخمة تعتمد على الفيديو، وتركز على تحويل الكلام المتدفق على نطاق واسع إلى نص. يهدف المشروع إلى تدريب أول نموذج لغوي ضخم يعتمد على الفيديو مزود بإمكانيات التعليق الفوري، وذلك باستخدام طريقة مبتكرة للتعرف التلقائي على الكلام (ASR) في الفيديو المتدفق، محققًا أداءً متميزًا في كلٍ من معايير الأداء المتدفقة وغير المتدفقة. تتوفر أوراق بحثية ذات صلة. LiveCC: برنامج ماجستير في القانون لتعلم الفيديو مع بث نسخ الكلام على نطاق واسعتم إدراجه في مؤتمر CVPR 2025.

يستخدم هذا البرنامج التعليمي بطاقة RTX A6000 واحدة كمورد.

أمثلة المشاريع

خطوات التشغيل

1. بعد بدء تشغيل الحاوية، انقر فوق عنوان API للدخول إلى واجهة الويب

2. بمجرد دخولك إلى صفحة الويب، يمكنك التفاعل مع النموذج

إذا تم عرض "بوابة سيئة"، فهذا يعني أن النموذج قيد التهيئة. نظرًا لأن النموذج كبير الحجم، يرجى الانتظار لمدة 1-2 دقيقة وتحديث الصفحة.

يوفر هذا البرنامج التعليمي اختبارين للوحدات: وحدة التعليق في الوقت الفعلي ووحدة المحادثة.

لا تقم بتبديل النماذج بشكل متكرر لتجنب ازدحام الموارد.

وظائف كل وحدة هي كما يلي:

التعليق في الوقت الحقيقي

🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓

معلومات الاستشهاد

معلومات الاستشهاد لهذا المشروع هي كما يلي:

@inproceedings{livecc,
    author       = {Joya Chen and Ziyun Zeng and Yiqi Lin and Wei Li and Zejun Ma and Mike Zheng Shou},
    title        = {LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale},
    booktitle    = {CVPR},
    year         = {2025},
}