Projektübersicht

LiveCC, erstmals am 25. April 2025 vom Show Lab der National University of Singapore und ByteDance veröffentlicht, ist ein videobasiertes Projekt zur Entwicklung großer Sprachmodelle mit Fokus auf die Transkription von Streaming-Sprachdaten. Ziel des Projekts ist es, das erste videobasierte Sprachmodell mit Echtzeit-Kommentarfunktion mithilfe einer innovativen Methode zur automatischen Video-Spracherkennung (ASR) zu trainieren und dabei sowohl im Streaming- als auch im Offline-Betrieb Bestleistungen zu erzielen. Zugehörige Forschungsarbeiten sind verfügbar. LiveCC: Lernvideo-LLM mit Streaming-Sprachtranskription im großen MaßstabEs wurde in CVPR 2025 aufgenommen.

Dieses Tutorial verwendet eine einzelne RTX A6000-Karte als Ressource.

Projektbeispiele

Schritte ausführen

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Sobald Sie die Webseite betreten, können Sie mit dem Modell interagieren

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 1–2 Minuten und aktualisieren Sie die Seite.

Dieses Tutorial bietet zwei Modultests: Echtzeitkommentar- und Konversationsmodule.

Wechseln Sie die Modelle nicht häufig, um eine Überlastung der Ressourcen zu vermeiden.

Die Funktionen der einzelnen Module sind wie folgt:

Echtzeitkommentar

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@inproceedings{livecc,
    author       = {Joya Chen and Ziyun Zeng and Yiqi Lin and Wei Li and Zejun Ma and Mike Zheng Shou},
    title        = {LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale},
    booktitle    = {CVPR},
    year         = {2025},
}