1. 튜토리얼 소개

Dolphin은 ByteDance에서 2025년 5월에 출시한 멀티모달 문서 파싱 모델입니다. 이 모델은 두 단계 접근 방식을 기반으로 합니다. 첫 번째 단계에서는 문서 레이아웃 요소의 시퀀스를 생성하고, 두 번째 단계에서는 이러한 요소를 앵커로 사용하여 콘텐츠를 병렬로 파싱합니다. Dolphin은 다양한 문서 파싱 작업에서 GPT-4.1 및 Mistral-OCR과 같은 모델보다 뛰어난 성능을 보여줍니다. 관련 연구 논문을 참고할 수 있습니다. Dolphin: 이기종 앵커 프롬프팅을 통한 문서 이미지 구문 분석 ACL 2025에 채택되었습니다.

이 튜토리얼에서는 단일 RTX 4090 카드에 대한 리소스를 사용합니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 1~2분 정도 기다리신 후 페이지를 새로고침해 주세요.

2. 사용 예

문서 인식

  결과 

요소 인식

결과 

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@inproceedings{dolphin2025,
  title={Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting},
  author={Feng, Hao and Wei, Shu and Fei, Xiang and Shi, Wei and Han, Yingdong and Liao, Lei and Lu, Jinghui and Wu, Binghong and Liu, Qi and Lin, Chunhui and Tang, Jingqun and Liu, Hao and Huang, Can},
  year={2025},
  booktitle={Proceedings of the 65rd Annual Meeting of the Association for Computational Linguistics (ACL)}
}