1. Einführung in das Tutorial

Dolphin ist ein multimodales Dokumentanalysemodell, das vom ByteDance-Team im Mai 2025 eingeführt wurde. Das Modell basiert auf einem zweistufigen Ansatz, bei dem zunächst die Struktur und anschließend der Inhalt analysiert wird. Die erste Stufe generiert eine Sequenz von Dokumentlayoutelementen, die zweite nutzt diese Elemente als Anker, um den Inhalt parallel zu analysieren. Dolphin schneidet bei verschiedenen Dokumentanalyseaufgaben gut ab und übertrifft Modelle wie GPT-4.1 und Mistral-OCR. Die Ergebnisse der Studie lauten:Dolphin: Dokumentbildanalyse über heterogene Ankeraufforderungen". Akzeptiert von ACL 2025.

Dieses Tutorial verwendet Ressourcen für eine einzelne RTX 4090-Karte.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 1–2 Minuten und aktualisieren Sie die Seite.

2. Anwendungsbeispiele

Dokumentenerkennung

 Ergebnis 

Elementerkennung

Ergebnis 

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@inproceedings{dolphin2025,
  title={Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting},
  author={Feng, Hao and Wei, Shu and Fei, Xiang and Shi, Wei and Han, Yingdong and Liao, Lei and Lu, Jinghui and Wu, Binghong and Liu, Qi and Lin, Chunhui and Tang, Jingqun and Liu, Hao and Huang, Can},
  year={2025},
  booktitle={Proceedings of the 65rd Annual Meeting of the Association for Computational Linguistics (ACL)}
}