서예가: 자유형 텍스트 이미지 맞춤 설정

우리는 Calligrapher를 소개합니다. Calligrapher는 디지털 서예 및 디자인 응용 프로그램을 위해 고급 텍스트 맞춤화와 예술적 타이포그래피를 혁신적으로 통합한 새로운 확산 기반 프레임워크입니다. 타이포그래피 맞춤화에서 정확한 스타일 제어와 데이터 의존성의 문제를 해결하기 위해, 우리의 프레임워크는 세 가지 핵심 기술적 공헌을 포함하고 있습니다. 첫째, 사전 학습된 텍스트-이미지 생성 모델과 대형 언어 모델을 활용하여 자동으로 스타일 중심의 타이포그래피 벤치마크를 구축하는 자기 증류 메커니즘을 개발했습니다. 둘째, Qformer와 선형 계층으로 구성된 학습 가능한 스타일 인코더를 통해 로컬화된 스타일 주입 프레임워크를 도입하였습니다. 이 메커니즘은 참조 이미지에서 강건한 스타일 특성을 추출합니다. 또한, 참조 이미지를 노이즈 제거 과정에 직접적으로 임베딩하는 문맥 내 생성 메커니즘이 사용되어 목표 스타일의 정교한 일치성을 더욱 향상시킵니다. 다양한 글꼴과 디자인 맥락에서 수행된 광범위한 양적 및 질적 평가 결과, Calligrapher가 복잡한 스타일적 세부 사항과 정확한 글리프 위치를 재현하는 능력을 확인할 수 있었습니다. 시각적으로 일관되고 고품질의 타이포그래피를 자동화함으로써, Calligrapher는 전통적인 모델을 능가하며 디지털 아트, 브랜딩, 그리고 문맥에 따른 타이포그래픽 디자인 분야의 창의적인 실무자들에게 힘을 실어줍니다.