Ein-Klick-Bereitstellung von LLaVA-OneVision

Einführung in das Tutorial

LLaVA-OneVision ist ein offenes multimodales Großmodell, das 2024 gemeinsam von Forschern von ByteDance, der Nanyang Technological University, der Chinese University of Hong Kong und der Hong Kong University of Science and Technology entwickelt wurde. Es kann Bilder, Text, Bild-Text-verschachtelte Eingaben und Videos verarbeiten. Es ist das erste Einzelmodell, das die Leistungsengpässe offener multimodaler Modelle in diesen drei wichtigen Computer Vision-Szenarien gleichzeitig überwinden kann.

Es erreicht nicht nur starke Transferlernfähigkeiten zwischen verschiedenen Modalitäten und Szenen, sondern demonstriert durch Aufgabenübertragung auch seine erheblichen Vorteile beim Videoverständnis und den szenenübergreifenden Fähigkeiten. Die Besonderheit von LLaVA-OneVision besteht darin, dass es eine Vielzahl visueller Aufgaben bewältigen kann. Ob es sich nun um die Analyse statischer Bilder oder das Parsen dynamischer Videos handelt, es kann qualitativ hochwertige Ergebnisse liefern. Darüber hinaus ist das Modell so konzipiert, dass der Schwerpunkt auf der Konsistenz der maximalen Anzahl visueller Markierungen liegt. Dadurch wird sichergestellt, dass die visuellen Darstellungen in verschiedenen Szenarien ausgewogen sind und so die Übertragung von Fähigkeiten zwischen Szenarien unterstützt wird.

Hauptmerkmale:

• Unterstützt verschiedene Eingangsauflösungen bis zu 2304*2304 Pixel.
• Im anyres_max_9-Modus kann ein einzelner Bildeingang durch bis zu 729*(9+1) Token dargestellt werden.
• Unterstützt mehrere Bild- und Videoeingänge. Die Eingabe mehrerer Bilder wird durch 729 Token pro Bild und die Videoeingabe durch 196 Token pro Frame dargestellt. Hinweis: Für dieses Tutorial ist eine einzelne A6000-Karte erforderlich.

Wie man läuft

1. 克隆并启动容器，待容器状态为「运行中」。由于模型较大，加载模型需要等待约 1 分钟，拷贝 API 地址到浏览器中打开即可

2. 可以看到如下界面

3. 点击下方上传单个/多个图片、文件或视频，并输入文本提示

4. 回车，生成回答

Diskussion und Austausch

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓