Aperçu du projet

LiveCC a été lancé le 25 avril 2025 par le Show Lab de l'Université nationale de Singapour et ByteDance. LiveCC est un projet de modèle de langage vidéo axé sur la transcription vocale en streaming à grande échelle. Ce projet vise à former le premier modèle de langage vidéo doté de fonctionnalités de commentaire en temps réel grâce à une méthode innovante de streaming vidéo par reconnaissance vocale automatique (RAP), atteignant ainsi le niveau de pointe actuel (SOTA) lors des tests de performance en streaming et hors ligne. Les résultats de l'article sont les suivants :LiveCC : LLM vidéo d'apprentissage avec transcription vocale en streaming à grande échelle", qui a été inclus dans le CVPR 2025.

Ce tutoriel utilise une seule carte RTX A6000 comme ressource.

Exemples de projets

Étapes de course

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Une fois que vous entrez sur la page Web, vous pouvez interagir avec le modèle

Si « Bad Gateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 1 à 2 minutes et actualiser la page.

Ce tutoriel propose deux modules de tests : les modules Commentaire en temps réel et Conversation.

Ne changez pas fréquemment de modèle pour éviter la congestion des ressources.

Les fonctions de chaque module sont les suivantes :

Commentaire en temps réel

Échange et discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@inproceedings{livecc,
    author       = {Joya Chen and Ziyun Zeng and Yiqi Lin and Wei Li and Zejun Ma and Mike Zheng Shou},
    title        = {LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale},
    booktitle    = {CVPR},
    year         = {2025},
}