HyperAIHyperAI

Command Palette

Search for a command to run...

Restauration d'images text-aware avec des modèles de diffusion

Jaewon Min Jin Hyeon Kim Paul Hyunbin Cho Jaeeun Lee Jihye Park Minkyu Park Sangpil Kim Hyunhee Park Seungryong Kim

Résumé

La restauration d'images vise à récupérer des images dégradées. Cependant, les méthodes de restauration basées sur la diffusion, malgré leur grand succès dans la restauration d'images naturelles, ont souvent du mal à reconstruire fidèlement les régions textuelles dans les images dégradées. Ces méthodes génèrent fréquemment des motifs ressemblant au texte qui sont plausibles mais incorrects, un phénomène que nous appelons hallucination textuelle. Dans cet article, nous présentons la Restauration d'Images Consciente du Texte (TAIR), une nouvelle tâche de restauration qui nécessite la récupération simultanée des contenus visuels et de la fidélité textuelle. Pour aborder cette tâche, nous proposons SA-Text, un benchmark à grande échelle composé de 100 000 images de scène de haute qualité annotées de manière dense avec des instances textuelles diverses et complexes. De plus, nous introduisons un cadre multi-tâches basé sur la diffusion, appelé TeReDiff, qui intègre les caractéristiques internes des modèles de diffusion dans un module de détection de texte, permettant ainsi aux deux composants de bénéficier d'un entraînement conjoint. Cela permet l'extraction de représentations textuelles riches, qui sont utilisées comme prompts lors des étapes ultérieures de débruitage. Des expériences approfondies montrent que notre approche surpasse constamment les méthodes de restauration les plus avancées actuellement disponibles, enregistrant des gains significatifs en termes de précision de reconnaissance du texte. Voir notre page du projet : https://cvlab-kaist.github.io/TAIR/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp