TransPixeler: Text Zu RGBA-Video

1. Einführung in das Tutorial

TransPixeler ist eine Methode zur Text-zu-Video-Generierung, die 2025 von der Chinese University of Hong Kong, der Hong Kong University of Science and Technology und Adobe Research veröffentlicht wurde. Diese Methode behält die Vorteile des ursprünglichen RGB-Modells bei und erreicht mit begrenzten Trainingsdaten eine starke Ausrichtung zwischen RGB- und Alphakanälen. Es kann effektiv vielfältige und konsistente RGBA-Videos generieren und so die Möglichkeit visueller Effekte und der interaktiven Inhaltserstellung fördern. Die relevanten Papierergebnisse sindTransPixeler: Fortschrittliche Text-zu-Video-Generierung mit Transparenz", wurde CVPR 2025 akzeptieren.

Dieses Tutorial verwendet eine A6000-Ressource mit einer einzelnen Karte und die Textbeschreibung unterstützt derzeit nur Englisch.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 1–2 Minuten und aktualisieren Sie die Seite.

2. Nachdem Sie die Webseite aufgerufen haben, können Sie ein Gespräch mit dem Modell beginnen

Parameterbeschreibung:

• Samen:  Zufallszahlen-Seed, der zur Steuerung der Zufälligkeit des Generierungsprozesses verwendet wird. Derselbe Seed-Wert kann dieselben Ergebnisse erzeugen (vorausgesetzt, dass die anderen Parameter gleich sind), was für die Reproduktion von Ergebnissen sehr wichtig ist.

Anwendung

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Dank an den Github-Benutzer xxxjjjyyy1  Bereitstellung dieses Tutorials. Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@misc{wang2025transpixeler,
      title={TransPixeler: Advancing Text-to-Video Generation with Transparency}, 
      author={Luozhou Wang and Yijun Li and Zhifei Chen and Jui-Hsien Wang and Zhifei Zhang and He Zhang and Zhe Lin and Ying-Cong Chen},
      year={2025},
      eprint={2501.03006},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2501.03006}, 
}