Beschreiben Sie Alles Modelldemo

Projektübersicht

Das Describe Anything Model (DAM) ist ein innovatives Bild- und Videobeschreibungsmodell, das gemeinsam von NVIDIA, UC Berkeley und UCSF entwickelt und 2025 veröffentlicht wurde. Das Modell kann detaillierte Beschreibungen basierend auf benutzerdefinierten Bereichen (Punkten, Kästchen, Kritzeleien oder Masken) generieren. Bei Videoinhalten genügt es, den Bereich in einem beliebigen Frame zu kommentieren, um eine vollständige Beschreibung zu erhalten. Die entsprechenden Ergebnisse der Studie sind:Beschreiben Sie alles: Detaillierte lokalisierte Bild- und Videountertitel".

Dieses Tutorial verwendet Ressourcen für eine einzelne RTX 4090-Karte.

Projektbeispiele

Schritte ausführen

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 1–2 Minuten und aktualisieren Sie die Seite.

2. Sobald Sie die Webseite betreten, können Sie mit dem Modell interagieren

Die Bildgröße sollte 5 MB nicht überschreiten, die Videolänge 20 Sekunden und die Videogröße 5 MB nicht überschreiten. Andernfalls kann es zu einer Verlangsamung des Modells oder einer Fehlermeldung kommen. Bitte wählen Sie den Bereich für die Beschreibung mit Bedacht aus.

Dieses Tutorial bietet zwei Modultests: Bildmodus- und Videomodusmodule.

Die Funktionen der einzelnen Module sind wie folgt:

Bildmodus

Videomodus

Austausch und Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Dank an den Github-Benutzer zhangjunchang  Für die Bereitstellung dieses Lernprogramms lauten die Projektreferenzinformationen wie folgt:

@article{lian2025describe,
  title={Describe Anything: Detailed Localized Image and Video Captioning}, 
  author={Long Lian and Yifan Ding and Yunhao Ge and Sifei Liu and Hanzi Mao and Boyi Li and Marco Pavone and Ming-Yu Liu and Trevor Darrell and Adam Yala and Yin Cui},
  journal={arXiv preprint arXiv:2504.16072},
  year={2025}
} GitHub Stars arXiv