HyperAI

1. Einführung in das Tutorial

Ovis-U1-3B ist ein multimodales, einheitliches Modell, das vom Ovis-Team der Alibaba Group am 29. Juni 2025 veröffentlicht wurde. Das Modell integriert drei Kernfunktionen: multimodales Verständnis, Text-zu-Bild-Generierung und Bildbearbeitung. Basierend auf einer fortschrittlichen Architektur und einer kollaborativen, einheitlichen Trainingsmethode erreicht es eine hochpräzise Bildsynthese und eine effiziente Text-zu-Bild-Interaktion. In mehreren akademischen Benchmarks wie multimodalem Verständnis, Generierung und Bearbeitung erzielte Ovis-U1 führende Ergebnisse und zeigte starke Generalisierungsfähigkeiten und herausragende Leistung. Die relevanten Ergebnisse der Studie lauten:Technischer Bericht zu Ovis-U1".

Dieses Tutorial verwendet eine einzelne RTX 4090-Grafikkarte. Es bietet drei Beispiele zum Testen: Bild + Text → Bild, Text → Bild und Bild → Text.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Anwendungsschritte

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2–3 Minuten und aktualisieren Sie die Seite.

2.1 Bild + Text → Bild

Parameterbeschreibung

Erweiterte Einstellungen
- Bildführungsskala: Steuert die Stärke des Einflusses von Texthinweisen auf generierte Bilder.
- Textführungsskala: Steuert den Einfluss des Eingabebildes auf das generierte Bild.
- Schritte: Die Anzahl der Iterationen zur Bildgenerierung.
- Seed: Zufälliger Seed für die Wiederholbarkeit des Bildgenerierungsprozesses.
- Zufallsgenerator: Der Zufallsgenerator wird zufällig generiert. Bei jeder Bildgenerierung wird ein neuer Zufallsgenerator generiert.

2.2 Text → Bild

2.3 Bild → Text

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@article{wang2025ovisu1,
  title={Ovis-U1 Technical Report}, 
  author={Wang, Guo-Hua and Zhao, Shanshan and Zhang, Xinjie and Cao, Liangfu and Zhan, Pengxin and Duan, Lunhao and Lu, Shiyin and Fu, Minghao and Zhao, Jianshan and Li, Yang and Chen, Qing-Guo},
  journal={arXiv preprint arXiv:2506.23044},
  year={2025}
}