Calligrapher : Personnalisation d'images textuelles en style libre

Nous présentons Calligrapher, un cadre novateur basé sur la diffusion qui intègre de manière innovante des fonctionnalités avancées de personnalisation du texte avec une typographie artistique pour les applications de calligraphie et de design numériques. Pour relever les défis liés au contrôle précis du style et à la dépendance aux données dans la personnalisation typographique, notre cadre incorpore trois contributions techniques clés. Premièrement, nous développons un mécanisme d'autodistillation qui utilise le modèle génératif pré-entraîné pour la conversion texte-image ainsi que le grand modèle linguistique pour construire automatiquement un benchmark centré sur le style en typographie. Deuxièmement, nous introduisons un cadre de injection de style localisée via un encodeur de style entraînable, composé à la fois de couches Qformer et linéaires, permettant d'extraire des caractéristiques stylistiques robustes à partir d'images de référence. Un mécanisme de génération contextuelle est également mis en œuvre pour intégrer directement les images de référence dans le processus de débruitage, ce qui améliore encore l'alignement raffiné des styles cibles. Des évaluations quantitatives et qualitatives approfondies menées sur diverses polices et contextes de design confirment la capacité de Calligrapher à reproduire fidèlement des détails stylistiques complexes et à positionner précisément les glyphe. En automatisant une typographie de haute qualité et visuellement cohérente, Calligrapher dépasse les modèles traditionnels, offrant ainsi plus d'autonomie aux praticiens créatifs dans les domaines de l'art numérique, du branding et du design typographique contextuel.