L'Université Duke Propose Un Algorithme D'ia Pour Sauvegarder Les Mosaïques De Mauvaise Qualité Et Les Transformer En Images Haute Définition En Quelques Secondes
À quoi ressemble la conversion d'une photo de tête « mosaïque » au niveau des pixels en une photo haute définition ? L'algorithme d'IA proposé par l'Université Duke peut non seulement « supprimer les mosaïques », mais aussi être suffisamment précis pour détecter chaque ride et chaque cheveu. Voulez-vous l'essayer ?
À l’ère de la recherche d’une qualité d’image haute définition, notre tolérance à la mauvaise qualité d’image diminue de plus en plus.
Si vous recherchez « basse résolution » et « mauvaise qualité d'image » sur Zhihu, vous verrez un grand nombre de questions telles que « Comment convertir des photos basse résolution en photos haute résolution », « Comment réparer des photos avec une faible clarté » et « Comment enregistrer une mauvaise qualité d'image ».
Alors, à quoi cela ressemble-t-il de transformer une image de niveau mosaïque en image haute définition en quelques secondes ? Les chercheurs de l’Université Duke utilisent des algorithmes d’IA pour vous le dire.
Le projet est désormais disponible sur GitHub :https://github.com/adamian98/pulse
Sans précédent, « Mosaic » devient instantanément en haute définition
Des chercheurs de l'Université Duke ont proposé un algorithme d'IA appelé PULSE (Suréchantillonnage de photos via l'exploration de l'espace latent).
L'algorithme peut transformer des images de visages floues et méconnaissables en images générées par ordinateur avec des détails plus fins et plus réalistes que jamais.
Si vous utilisez la méthode précédente pour rendre une « photo de tête » floue plus claire, vous ne pouvez mettre la photo à l'échelle qu'à huit fois sa résolution d'origine au maximum.
Mais une équipe de l’Université Duke a mis au point une nouvelle approche.En quelques secondes seulement,Vous pouvez agrandir une image basse résolution (LR) de 16 × 16 pixels de 64 fois en une image haute résolution (HR) de 1 024 x 1 024 pixels.
Leurs outils d’IA « imaginent » des fonctionnalités qui n’existent pas.Même les détails qui ne peuvent pas être vus sur les photos LR originales, tels que les pores, les ridules, les cils, les cheveux et la barbe de trois jours, peuvent être clairement vus après avoir été traités par son algorithme.
Prenons un exemple concret :
« Jamais auparavant il n’a été possible de créer des images en super-résolution avec une telle quantité de détails en utilisant si peu de pixels », a déclaré Cynthia Rudin, informaticienne à l’Université Duke qui a dirigé l’équipe.
En termes d'applications pratiques, Sachit Menon, co-auteur de l'article, a déclaré : « Dans ces études, nous avons uniquement utilisé le visage comme preuve de concept.
Mais en théorie, la technologie est universelle et pourrait être utilisée pour améliorer la qualité des images dans des domaines allant de la médecine et de la microscopie à l’astronomie et à l’imagerie satellite. "
Rompre les opérations traditionnelles pour obtenir les meilleurs résultats
Bien qu'il existe de nombreuses méthodes similaires pour convertir la basse définition en haute définition, c'est la première fois dans l'industrie qu'un niveau de grossissement de pixels de 64 fois peut être atteint.
Méthode traditionnelle : correspondance des pixels, sujette aux bugs
Lorsqu'on traite de tels problèmes, les méthodes traditionnelles prennent généralement l'image LR et « devinent » combien de pixels supplémentaires sont nécessaires, puis essaient de faire correspondre les pixels correspondants dans l'image HR précédemment traitée à l'image LR.
Le résultat de la simple correspondance des pixels est que des zones telles que les textures des cheveux et de la peau présenteront des discordances de pixels.
De plus, cette méthode ignore également les détails perceptifs tels que la photosensibilité dans les images HR. Il y aura donc éventuellement des problèmes de fluidité et de sensibilité, et le résultat apparaîtra toujours flou ou irréel.
Nouvelle méthode : « liaison » d'images basse définition
On peut dire que la nouvelle méthode proposée par l’équipe de l’Université Duke a ouvert de nouvelles idées.
Après avoir obtenu une image LR, le système PULSE n'ajoute pas lentement de nouveaux détails.Au lieu de cela, il parcourt les images HR générées par l'IA, compare les images LR correspondant à ces images HR avec l'image d'origine et trouve la plus proche.
Pour le dire par analogie, cela revient à faire un jeu de « relier les points » avec l’image LR, à trouver la version LR la plus similaire, puis à travailler à rebours. L'image HR correspondant à cette image LR est le résultat de sortie final.
L’équipe a utilisé un réseau antagoniste génératif (GAN).Il se compose de deux réseaux neuronaux, un générateur et un discriminateur, formés sur le même ensemble de données de photos.
Le générateur simule les visages sur lesquels il a été formé, fournissant un visage créé par l'IA, tandis que le discriminateur prend cette sortie et détermine si elle est suffisamment réaliste pour être confondue avec un faux.
Avec l'expérience, le générateur s'améliore de plus en plus, jusqu'à ce que le discriminateur ne puisse plus faire la différence.
Ils ont utilisé des images réelles pour les expériences, et la comparaison des effets est illustrée dans la figure suivante :
Bien que l'image haute résolution générée présente encore un certain écart avec l'image d'origine, elle est beaucoup plus claire que les méthodes précédentes.
Évaluation : surpasse les autres méthodes, scores proches des photos réelles
L'équipe a évalué son algorithme sur le célèbre ensemble de données faciales haute résolution CelebA HQ, en effectuant ces expériences avec des facteurs d'échelle de 64×, 32× et 8×.
Les chercheurs ont demandé à 40 personnes d’évaluer 1 440 images générées par PULSE et cinq autres méthodes de mise à l’échelle sur une échelle de 1 à 5.PULSE a obtenu les meilleurs résultats, obtenant des résultats presque aussi élevés que de vraies photos de haute qualité.
HR est un véritable ensemble de données de portraits haute définition, et son score n'est que de 0,14 supérieur à celui de PULSE.
Les membres de l'équipe ont déclaré que PULSE peut créer des images réalistes à partir d'entrées bruyantes et de mauvaise qualité, même si l'image d'origine ne peut même pas reconnaître les yeux et la bouche. C’est quelque chose qui ne peut pas être réalisé par d’autres méthodes.
Cependant, le système ne peut pas encore être utilisé pour la reconnaissance d'identité, ont déclaré les chercheurs : « Il ne peut pas transformer une photo floue et méconnaissable prise par une caméra de sécurité en une image claire d'une personne réelle.Cela génère simplement de nouveaux visages qui n’existent pas mais qui semblent réels. "
En termes de scénarios d’application spécifiques, en plus de ce qui précède, cette technologie pourrait être utilisée en médecine et en astronomie à l’avenir. Pour le grand public, après avoir eu cette technologie noire, de vieilles photos prises il y a N ans peuvent être transformées en haute définition. C’est une excellente nouvelle pour les éditeurs, car ils n’ont plus à se soucier de trouver des illustrations en haute définition.
Rappel chaleureux : les chercheurs présenteront également leur méthode lors de la CVPR 2020 (Conférence sur la vision par ordinateur et la reconnaissance de formes) en cours, vous pourrez donc y prêter attention :
http://cvpr2020.thecvf.com/program/tutorials
Adresse du document :
https://arxiv.org/pdf/2003.03808.pdf
Références :
https://www.sciencedaily.com/releases/2020/06/200612111409.htm
-- sur--