⚡️Pyramidenfluss⚡️: Trainingseffizientes autoregressives Videogenerierungsmodell basierend auf Flow Matching

1. Einführung in das Tutorial

Pyramid Flow ist ein Open-Source-Modell zur Generierung von Ultra-HD-Videos, das 2024 von einem gemeinsamen Forschungsteam von Kuaishou, der Peking-Universität und der Beijing University of Posts and Telecommunications entwickelt wurde. Zugehörige Forschungsarbeiten umfassen… Pyramidal Flow Matching für effizientes Video Generative Modeling Dieses Modell kann anhand von Textbeschreibungen hochwertige Videos mit einer Länge von bis zu 10 Sekunden, einer Auflösung von bis zu 1280 × 768 Pixeln und einer Bildrate von 24 Bildern pro Sekunde generieren. Die Kerntechnologie von Pyramid Flow ist der Pyramid-Stream-Matching-Algorithmus, der den Videogenerierungsprozess in mehrere Stufen mit unterschiedlichen Auflösungen unterteilt und dadurch Effizienz und Qualität der Generierung verbessert.

Dieses Tutorial stellt eine trainingseffiziente Methode zur autoregressiven Videogenerierung auf Basis von Stream Matching vor. Durch das Training ausschließlich mit Open-Source-Datensätzen kann es hochwertige 10-Sekunden-Videos mit einer Auflösung von 768p und 24 FPS generieren und unterstützt natürlich die Bild-zu-Video-Generierung. Dieses Tutorial unterstützt die folgenden Modelle und Funktionen:

Zwei Modellprüfpunkte:

• 768p: Unterstützt bis zu 10 Sekunden Video bei 24 FPS
• 384p: Unterstützt die Generierung von 5-Sekunden-Videos mit 24 FPS

Zwei Funktionen:

• Vincent-Video (Text zu Video)
• Bild-zu-Video-Generierung (image_to_video)

2. Bedienungsschritte

Klicken Sie nach dem Starten des Containers auf die API-Adresse, um zur Weboberfläche zu gelangen

1. Text zu Video (text_to_video)

wählen Text-zu-Video Funktion: Geben Sie unten die Eingabewörter und zugehörigen Einstellungen wie erforderlich ein.

• Eingabeaufforderung: Eine Textaufforderung, die als Leitfaden für die Videoerstellung verwendet wird. Beachten Sie, dass die Länge 128 Zeichen nicht überschreiten darf.
• Dauer: Die Länge des generierten Videos, Dauer=16: 5 s, Temperatur=31: 10 s.
• guidance_scale: Steuert die visuelle Qualität. Wir schlagen vor, die Anleitung in [7, 9] für den 768p-Checkpoint und 7 für den 384p-Checkpoint während der Text-zu-Video-Generierung zu verwenden.
• video_guidance_scale: Steuert die Bewegung. Größere Werte erhöhen den Dynamikumfang und mildern die Verschlechterung der autoregressiven Generierung, während kleinere Werte das Video stabilisieren. Für die Generierung von 10-Sekunden-Videos empfehlen wir die Verwendung einer 7-stufigen Anleitungsskala und einer 5-stufigen Video-Anleitungsskala. Nach dem Testen dauert es etwa 4 Minuten, um mit einem 768p-Checkpoint (größeres Modell) ein 5-Sekunden-Video zu generieren, und etwa 2 Minuten, um mit einem 384p-Modell (kleineres Modell) ein 5-Sekunden-Video zu generieren.  

2. Bild-zu-Video-Generierung (image_to_video)

wählen Bild_zu_Video Funktion: Geben Sie unten die Eingabewörter und zugehörigen Einstellungen wie erforderlich ein.

• input_image: Laden Sie das Originalbild hoch
• Eingabeaufforderung: Eine Textaufforderung, die als Leitfaden für die Videoerstellung verwendet wird. Beachten Sie, dass die Länge 128 Zeichen nicht überschreiten darf.
• Dauer: Die Länge des generierten Videos, Dauer=16: 5 s, Temperatur=31: 10 s.
• video_guidance_scale: Steuert die Bewegung. Größere Werte erhöhen den Dynamikumfang und mildern die Verschlechterung der autoregressiven Generierung, während kleinere Werte das Video stabilisieren. Für die Generierung von 10-Sekunden-Videos empfehlen wir die Verwendung einer 7-stufigen Anleitungsskala und einer 5-stufigen Video-Anleitungsskala. Nach dem Testen dauert es etwa 3 Minuten, um mit einem 768p-Checkpoint (größeres Modell) ein 5-Sekunden-Video zu generieren, und etwa 2 Minuten, um mit einem 384p-Modell (kleineres Modell) ein 5-Sekunden-Video zu generieren.

Austausch und Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓