HyperAI
vor 17 Tagen

Kalligrapher: Freistil-Textbild-Anpassung

Yue Ma, Qingyan Bai, Hao Ouyang, Ka Leong Cheng, Qiuyu Wang, Hongyu Liu, Zichen Liu, Haofan Wang, Jingye Chen, Yujun Shen, Qifeng Chen
Kalligrapher: Freistil-Textbild-Anpassung
Abstract

Wir stellen Calligrapher vor, einen innovativen, diffusionsbasierten Rahmen, der fortgeschrittene Textanpassungen mit künstlerischer Schriftgestaltung für digitale Kalligraphie- und Designanwendungen integriert. Unsere Methode begegnet den Herausforderungen präziser Stilsteuerung und Datenabhängigkeit in der typografischen Anpassung durch drei wesentliche technische Beiträge. Erstens entwickeln wir ein Selbst-Distillationsmechanismus, der das vortrainierte text-zu-bild-generierende Modell zusammen mit dem großen Sprachmodell nutzt, um automatisch eine stilzentrierte Typografie-Benchmark zu erstellen. Zweitens führen wir einen lokalisierten Stileinspeisungsrahmen ein, der über einen trainierbaren Stilencoder verfügt, bestehend aus Qformer- und linearen Schichten, um robuste Stilvermerkzeichen aus Referenzbildern zu extrahieren. Ein in-Kontext-Generierungsmechanismus wird ebenfalls eingesetzt, um Referenzbilder direkt in den Entrauschungsprozess einzubetten und so die genaue Ausrichtung der Zielstile weiter zu verbessern. Umfangreiche quantitative und qualitative Bewertungen bei verschiedenen Schriftarten und Designkontexten bestätigen Calligraphers genaue Wiedergabe komplexer stilistischer Details und präzise Glyphepositionierung. Durch die Automatisierung hochwertiger, visuell konsistenter Typografie übertrifft Calligrapher traditionelle Modelle und befähigt kreative Praktiker in der digitalen Kunst, Markenbildung und kontextuellen typografischen Gestaltung.