プロジェクト概要

LiveCCは、シンガポール国立大学のShow LabとByteDanceによって2025年4月25日に初めてリリースされました。LiveCCは、大規模なストリーミング音声の書き起こしに焦点を当てたビデオ言語モデルプロジェクトです。このプロジェクトは、革新的なビデオ自動音声認識（ASR）ストリーミング手法を用いて、リアルタイム解説機能を備えた初のビデオ言語モデルを学習し、ストリーミングとオフラインの両方のベンチマークにおいて、現在の最先端技術（SOTA）レベルを達成することを目指しています。関連論文の結果は以下です。LiveCC: 大規模なストリーミング音声文字起こしによるビデオ LLM の学習」はCVPR 2025に含まれています。

このチュートリアルでは、リソースとして単一の RTX A6000 カードを使用します。

プロジェクト例

ステップの実行

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

2. ウェブページに入ると、モデルと対話することができます

「Bad Gateway」と表示される場合、モデルが初期化中であることを意味します。モデルが大きいため、1〜2分ほど待ってページを更新してください。

このチュートリアルでは、リアルタイム解説モジュールと会話モジュールの 2 つのモジュール テストを提供します。

リソースの混雑を避けるため、モデルを頻繁に切り替えないでください。

各モジュールの機能は次のとおりです。

リアルタイム解説

交流とディスカッション

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。

引用情報

このプロジェクトの引用情報は次のとおりです。

@inproceedings{livecc,
    author       = {Joya Chen and Ziyun Zeng and Yiqi Lin and Wei Li and Zejun Ma and Mike Zheng Shou},
    title        = {LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale},
    booktitle    = {CVPR},
    year         = {2025},
}