1. Einführung in das Tutorial

Ovis-U1-3B ist ein multimodales, einheitliches Modell, das am 29. Juni 2025 vom Ovis-Team der Alibaba Group veröffentlicht wurde. Das Modell integriert drei Kernfunktionen: multimodales Verständnis, Text-zu-Bild-Generierung und Bildbearbeitung. Dank einer fortschrittlichen Architektur und eines kollaborativen, einheitlichen Trainingsverfahrens erzielt es eine hohe Bildqualität und eine effiziente Text-Bild-Interaktion. In zahlreichen akademischen Benchmark-Tests, darunter multimodales Verständnis, Generierung und Bearbeitung, erzielte Ovis-U1 führende Ergebnisse und demonstrierte damit eine starke Generalisierungsfähigkeit und hervorragende Leistung. Zugehörige Forschungsarbeiten sind verfügbar. Technischer Bericht zu Ovis-U1 .

Dieses Tutorial verwendet eine einzelne RTX 4090-Grafikkarte. Es bietet drei Beispiele zum Testen: Bild + Text → Bild, Text → Bild und Bild → Text.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Anwendungsschritte

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2–3 Minuten und aktualisieren Sie die Seite.

2.1 Bild + Text → Bild

Parameterbeschreibung

• Erweiterte Einstellungen
  • Bildführungsskala: Steuert die Stärke des Einflusses von Texthinweisen auf generierte Bilder.
  • Textführungsskala: Steuert den Einfluss des Eingabebildes auf das generierte Bild.
  • Schritte: Die Anzahl der Iterationen zur Bildgenerierung.
  • Seed: Zufälliger Seed für die Wiederholbarkeit des Bildgenerierungsprozesses.
  • Zufallsgenerator: Der Zufallsgenerator wird zufällig generiert. Bei jeder Bildgenerierung wird ein neuer Zufallsgenerator generiert.

2.2 Text → Bild

2.3 Bild → Text

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@article{wang2025ovisu1,
  title={Ovis-U1 Technical Report}, 
  author={Wang, Guo-Hua and Zhao, Shanshan and Zhang, Xinjie and Cao, Liangfu and Zhan, Pengxin and Duan, Lunhao and Lu, Shiyin and Fu, Minghao and Zhao, Jianshan and Li, Yang and Chen, Qing-Guo},
  journal={arXiv preprint arXiv:2506.23044},
  year={2025}
}