Aperçu du projet

LiveCC, lancé le 25 avril 2025 par le Show Lab de l'Université nationale de Singapour et ByteDance, est un projet de modèle de langage à grande échelle basé sur la vidéo et axé sur la transcription vocale en flux continu à grande échelle. Ce projet vise à entraîner le premier modèle de langage à grande échelle basé sur la vidéo, doté de capacités de commentaire en temps réel, grâce à une méthode innovante de reconnaissance vocale automatique (ASR) en flux continu vidéo. Il ambitionne d'atteindre des performances de pointe, tant en streaming qu'en mode hors ligne. Des articles de recherche associés sont disponibles. LiveCC : LLM vidéo d'apprentissage avec transcription vocale en streaming à grande échelleIl a été inclus dans CVPR 2025.

Ce tutoriel utilise une seule carte RTX A6000 comme ressource.

Exemples de projets

Étapes de course

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Une fois que vous entrez sur la page Web, vous pouvez interagir avec le modèle

Si « Bad Gateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 1 à 2 minutes et actualiser la page.

Ce tutoriel propose deux modules de tests : les modules Commentaire en temps réel et Conversation.

Ne changez pas fréquemment de modèle pour éviter la congestion des ressources.

Les fonctions de chaque module sont les suivantes :

Commentaire en temps réel

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@inproceedings{livecc,
    author       = {Joya Chen and Ziyun Zeng and Yiqi Lin and Wei Li and Zejun Ma and Mike Zheng Shou},
    title        = {LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale},
    booktitle    = {CVPR},
    year         = {2025},
}