Projektübersicht

LiveCC wurde erstmals am 25. April 2025 vom Show Lab der National University of Singapore und ByteDance veröffentlicht. LiveCC ist ein Video-Sprachmodellprojekt mit Fokus auf groß angelegter Streaming-Sprachtranskription. Ziel des Projekts ist es, das erste Video-Sprachmodell mit Echtzeit-Kommentarfunktionen durch eine innovative Streaming-Methode zur automatischen Video-Spracherkennung (ASR) zu trainieren und sowohl in Streaming- als auch in Offline-Benchmarks den aktuellen Stand der Technik (SOTA) zu erreichen. Die Ergebnisse der Studie lauten:LiveCC: Lernvideo-LLM mit Streaming-Sprachtranskription im großen Maßstab“, das in CVPR 2025 aufgenommen wurde.

Dieses Tutorial verwendet eine einzelne RTX A6000-Karte als Ressource.

Projektbeispiele

Schritte ausführen

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Sobald Sie die Webseite betreten, können Sie mit dem Modell interagieren

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 1–2 Minuten und aktualisieren Sie die Seite.

Dieses Tutorial bietet zwei Modultests: Echtzeitkommentar- und Konversationsmodule.

Wechseln Sie die Modelle nicht häufig, um eine Überlastung der Ressourcen zu vermeiden.

Die Funktionen der einzelnen Module sind wie folgt:

Echtzeitkommentar

Austausch und Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@inproceedings{livecc,
    author       = {Joya Chen and Ziyun Zeng and Yiqi Lin and Wei Li and Zejun Ma and Mike Zheng Shou},
    title        = {LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale},
    booktitle    = {CVPR},
    year         = {2025},
}