Sujet De Super-résolution | 3 Méthodes, 4 Tutoriels, 10 Ensembles De Données, Obtenez Les Points De Connaissance Essentiels Dans Un Seul Article

Décembre 2010,Su Guangda, professeur au département de génie électronique de l'université Tsinghua, a reçu un appel inhabituelUn policier de l'équipe de police criminelle de Jungar de la région autonome de Mongolie intérieure a demandé l'aide de Su Guangda concernant une image faciale floue du suspect.

« Cette image a été prise par une caméra de surveillance routière. La résolution est très faible et totalement méconnaissable à l'œil nu », se souvient Su Guangda. À cette époque, il a utilisé une technologie de super-résolution pour intégrer cette image floue dans le logiciel qu'ils ont développé et l'ont reconstruite. Sur la base de l'image haute définition reconstruite, la police de Junggar a rapidement identifié le suspect et résolu l'affaire du meurtre.

En fait, ce cas n’est pas isolé. Lorsque la police enquête sur une affaire, elle peut obtenir des images du suspect grâce à des caméras de surveillance, accélérant ainsi le processus de résolution de l’affaire. Cependant, lorsque les photos prises par les caméras de surveillance sont agrandies, les détails sont souvent flous, ce qui réduit considérablement l’efficacité de la police à obtenir des preuves clés.

Avec le développement de la technologie de super-résolution, ces problèmes ont été résolus et sont progressivement résolus.

Cet article commencera par le concept, présentera les principaux algorithmes de super-résolution et leurs avantages et inconvénients, et démontrera son application dans différents scénarios tels que la sécurité publique, le diagnostic médical, la télédétection par satellite, le divertissement numérique, etc. De plus, le site Web officiel HyperAI Super Neural a lancé un grand nombre de didacticiels publics et d'ensembles de données publics liés à la super résolution. N'hésitez pas à les essayer !

Qu'est-ce que la super-résolution ?

Super-Résolution (SR), en bref,Il s'agit de mettre à niveau l'image basse résolution (LR) vers une image haute résolution (HR) via un algorithme.Par rapport aux images basse résolution, les images haute résolution ont une densité de pixels plus élevée et des détails de texture plus riches, et sont plus fiables.

Cette technologie peut surmonter ou compenser des problèmes tels que le flou d'image et la mauvaise qualité d'image causés par les limitations du système d'acquisition d'images ou de l'environnement d'acquisition lui-même, et fournit un support important pour le traitement d'image ultérieur tel que l'extraction de caractéristiques et la reconnaissance d'informations.

Classification des algorithmes de super-résolution

À l’heure actuelle, les méthodes de super-résolution sont principalement divisées en trois catégories : les méthodes basées sur l’interpolation, les méthodes basées sur la reconstruction et les méthodes basées sur l’apprentissage.

* Méthodes basées sur l'interpolation

La méthode d'interpolation augmente la taille de l'image en insérant de nouveaux pixels autour des pixels d'origine de l'image et en attribuant des valeurs à ces pixels pour restaurer le contenu de l'image et obtenir l'effet d'amélioration de la résolution de l'image.
*Pixel : L'élément unitaire le plus basique d'une image, c'est-à-dire un point. Chaque pixel a sa propre valeur de couleur. Plus il y a de pixels par unité de surface, plus l'image est claire.

* Approche basée sur la reconstruction

Les algorithmes de super-résolution basés sur la reconstruction utilisent généralement plusieurs images basse résolution prises dans la même scène en entrée, puis analysent la relation entre le domaine fréquentiel et le domaine spatial de ces images. Le processus de reconstruction est guidé et contraint par l’introduction d’informations préalables, et une seule image haute résolution est reconstruite.
*Domaine fréquentiel : fait référence aux caractéristiques du signal dans le domaine fréquentiel.
*Domaine spatial : désigne la distribution des signaux dans l'espace.
*Informations préalables : Ces informations sont disponibles « avant l'expérience » et peuvent généralement être comprises comme des connaissances du domaine.

* Méthodes basées sur l'apprentissage

Les méthodes de super-résolution basées sur l'apprentissage utilisent généralement une grande quantité de données d'entraînement pour apprendre la relation de mappage entre les images basse résolution et les images haute résolution, prédire les informations de détail haute fréquence perdues dans les images basse résolution et ainsi générer des images de super-résolution.

Les méthodes basées sur l’apprentissage superficiel comprennent principalement l’apprentissage automatique, l’apprentissage multiple, l’apprentissage par échantillons et le codage clairsemé, qui peuvent être utilisés dans des situations où la quantité de données est faible.

Les méthodes basées sur l'apprentissage profond peuvent être divisées en méthodes SR basées sur des réseaux neuronaux convolutifs, méthodes SR basées sur des réseaux résiduels (ResNet) et méthodes SR basées sur des réseaux antagonistes génératifs (GAN).

Les avantages et les inconvénients des trois méthodes ci-dessus sont les suivants :

De nos jours, l’apprentissage en profondeur est devenu la méthode dominante dans le domaine de la super-résolution.

En 2014, Dong et al. premier apprentissage profond appliqué au domaine de la reconstruction d'images en super-résolution.Le modèle de réseau SRCNN (Super-Resolution Convolutional Neural Network) a été proposé.Ce résultat a été publié sur arXiv sous le titre « Image Super-Resolution Using Deep Convolutional Networks ». Depuis lors, une vague d’apprentissage profond a été déclenchée dans le domaine de la reconstruction en super-résolution.

Adresse du document :

https://arxiv.org/pdf/1501.00092

En tant que premier modèle à appliquer des méthodes d’apprentissage profond à la super-résolution d’image, le SRCNN a atteint une valeur PSNR dépassant de loin celle des méthodes traditionnelles en utilisant seulement trois couches convolutives.

Plus précisément, une image basse résolution est entrée, l'image est agrandie à la taille cible à l'aide d'une interpolation bicubique, puis un réseau neuronal convolutif à trois couches est utilisé pour ajuster le mappage non linéaire entre l'image basse résolution et l'image haute résolution, et enfin l'image haute résolution reconstruite est sortie.

*Valeur PSNR : rapport signal/bruit maximal. Plus la valeur est élevée, meilleure est la qualité de l'image HR de sortie.

Le SRCNN est devenu une étape importante dans le domaine de la super-résolution d'images en raison de sa simplicité et de sa grande efficacité.Depuis lors, la technologie de super-résolution basée sur l’apprentissage profond s’est développée rapidement, depuis la première technologie de super-résolution basée sur les réseaux neuronaux convolutifs (CNN) jusqu’à la technologie récente basée sur les réseaux antagonistes génératifs.

Apprentissage profond + super-résolution : des applications diverses, de la sécurité publique au divertissement numérique

La demande stimule le développement technologique et l’itération technologique aide à la mise en œuvre des applications. De nos jours, la technologie de super-résolution est largement utilisée dans la sécurité publique, le diagnostic médical, la télédétection par satellite, les médias de divertissement et d’autres domaines.

* Domaine de la sécurité publique

Les vidéos de surveillance publique sont affectées par des facteurs tels que la météo et la distance, et les images sont souvent floues et ont une faible résolution. L’application de la technologie de super-résolution peut aider la police à extraire des visages clairs, des numéros de plaques d’immatriculation et d’autres informations clés, ce qui contribue à résoudre les affaires.

Feng Shunli du Jilin Police College a utilisé les réseaux ESRGAN et BSRGAN pour analyser des portraits et des paysages naturels dans différents environnements et a exploré la faisabilité de l'application de la technologie de super-résolution à la sécurité publique et aux tribunaux.

Le résultat a été publié dans le Journal de l'Académie de police armée sous le titre « Application de la technologie de reconstruction d'images à super-résolution dans le travail de la police ».

Adresse du document :

https://www.faxin.cn/lib/Flwx/FlqkContent.aspx?gid=F805122&libid=040106

Dans un premier temps, les chercheurs ont reproduit, entraîné et testé les modèles ESRGAN et BSRGAN pour obtenir les paramètres de modèle optimaux. Ensuite, le modèle formé est utilisé pour effectuer une reconstruction en super-résolution sur les images de faible qualité collectées telles que des portraits et des paysages naturels, et les résultats de reconstruction d'ESRGAN et de BSRGAN sont obtenus.

Les chercheurs ont comparé les images reconstruites de l’ESRGAN et du BSRGAN avec les images originales.Les résultats montrent que les portraits reconstruits dans les angles frontaux, obliques et les scènes complexes présentent des améliorations significatives de la qualité visuelle et de la fidélité.

Dans la comparaison des scènes naturelles, l'effet de reconstruction BSRGAN est meilleur que celui de l'ESRGAN.Il peut supprimer efficacement le bruit complexe inconnu de l'image d'origine de faible qualité et générer des bords clairs et des détails fins.

* Domaine du diagnostic médical

En raison des limites des équipements d'imagerie et des environnements cliniques complexes, les images obtenues dans le domaine médical ont souvent une résolution insuffisante, ce qui affecte directement le diagnostic précis des médecins et les décisions de traitement des maladies.

Peng Bo et d'autres chercheurs de l'hôpital populaire du Sichuan ont utilisé le réseau antagoniste génératif (SRGAN) pour la reconstruction en super-résolution d'images naturelles comme méthode de base.La structure du réseau a été modifiée en réduisant 2 canaux d'entrée et en supprimant 1 bloc résiduel, la fonction de perte de réseau a été améliorée et un nouvel ensemble de données de traitement de flou a été ajouté pour reconstruire une image échographique médicale avec des bords clairs et sans artefacts qui a été agrandie 4 fois.

Ce résultat a été publié dans le Journal of Terahertz Science and Electronic Information Technology sous le titre « Super-resolution Reconstruction of Ultrasound Images Based on Generative Adversarial Networks ».

Adresse du document :

http://www.iaeej.com/xxydzgc/article/abstract/202305015

Les chercheurs ont comparé le SRGAN amélioré avec trois autres algorithmes.Les résultats montrent que les résultats de reconstruction du SRGAN amélioré sont globalement plus lisses et que les bords de texture sont plus clairs.

* Domaine de la télédétection par satellite

Ces dernières années, les images satellites de télédétection ont été largement utilisées dans des domaines tels que la surveillance de l’environnement, l’exploration des ressources, l’alerte aux catastrophes et l’armée. Cependant, des facteurs tels que les changements atmosphériques, le bruit de transmission, le flou de mouvement et les capteurs optiques sous-échantillonnés limitent considérablement la clarté des images satellites de télédétection. La technologie de super-résolution peut améliorer la qualité et la disponibilité des données de télédétection par satellite en traitant et en améliorant les images à basse résolution.

Yan Bodhi et d'autres chercheurs de l'Institut de technologie de Harbin ont introduit les informations détaillées sur les caractéristiques des zones cibles des clusters locaux dans les images de télédétection dans l'échantillonnage et la reconstruction d'images de télédétection complètes, ont extrait des caractéristiques d'image de différentes échelles via des réseaux neuronaux multicouches et ont fusionné et reconstruit ces caractéristiques via l'apprentissage résiduel.Cette méthode peut améliorer considérablement l'effet de détail de l'image de télédétection globale et optimiser la résolution de la zone cible du cluster à l'aide des informations de pixels de l'image locale.

Cette réalisation, intitulée « Reconstruction en super-résolution des zones cibles des clusters de télédétection combinée à des images locales haute définition », a été publiée dans le Journal de l'Université d'aéronautique et d'astronautique de Nanjing.

Adresse du document :

https://jnuaa.nuaa.edu.cn/njhkht/article/html/202306002

Le tableau comparatif présenté dans l’étude montre que cette méthode est nettement meilleure que les autres méthodes existantes en termes d’effet de visualisation.Il convient aux scènes urbaines et extérieures et montre de bons résultats.

* Divertissement numérique

L'animation est composée de plusieurs images fixes connectées entre elles, et la résolution des images fixes affectera la clarté de l'animation finale. Cependant, les dessins existants, dessinés à la main ou numériques, ne peuvent pas garantir une haute résolution du premier jet, ce qui est assez peu convivial pour l'expérience visuelle de l'utilisateur. En appliquant la technologie de super-résolution, ces images basse résolution peuvent être converties en images haute résolution, qui peuvent présenter plus de détails et de textures, rendant les images des œuvres d'animation plus vivantes et réalistes.

Bilibili a lancé un modèle de restauration de la qualité d'animation appelé Real-CUGAN (Real Cascaded-U-Net-style Generative Adversarial Networks).

Tout d’abord, les chercheurs ont utilisé le modèle pour découper les images d’animation et ont utilisé le modèle de notation de la qualité d’image pour noter et filtrer les blocs candidats, obtenant finalement un ensemble d’entraînement de millions de blocs d’images d’animation de haute qualité.

Ensuite, grâce à un algorithme de dégradation en plusieurs étapes, les blocs d'images haute définition sont sous-échantillonnés pour obtenir des images de faible qualité, permettant au modèle d'apprendre et d'optimiser le processus de reconstruction des images de faible qualité vers des images de haute qualité. Une fois la formation terminée, le modèle peut traiter de véritables images bidimensionnelles de faible qualité en images haute définition.

Le tableau comparatif des différents algorithmes est le suivant :

Ensembles de données open source et tutoriels en super-résolution

à l'heure actuelle,Le site Web officiel d'HyperAI a lancé un grand nombre de ressources en super-résolution.Comprend des didacticiels publics et des ensembles de données.

* Tutoriels publics

1. APISR Animation Image Super Resolution Enhancer

APISR est un projet open source permettant d'améliorer la résolution des images et des vidéos d'anime. Il peut restaurer et améliorer les images et les sources vidéo d'anime de faible qualité et de faible résolution, et gérer divers problèmes de dégradation d'image (flou, bruit, artefacts de compression, etc.).
Adresse de l'opération en ligne :https://hyper.ai/tutorials/31383

2. Tutoriel de restauration d'images SUPIR-AI

SUPIR peut convertir des images basse résolution en images haute résolution tout en conservant les détails et le réalisme de l'image et en gérant diverses situations de dégradation complexes.
Adresse de l'opération en ligne :https://hyper.ai/tutorials/30940
3. Super-résolution d'image par diffusion latente

Ce tutoriel montre comment utiliser la bibliothèque de diffuseurs pour implémenter le modèle de super-résolution d'image de diffusion latente.
Adresse de l'opération en ligne :https://hyper.ai/tutorials/26207
4. Super-résolution d'image grâce à un CNN sous-pixel efficace

Ce tutoriel implémente la super-résolution sur l'ensemble de données BSDS 500 à l'aide d'un modèle de sous-pixel efficace.
Adresse de l'opération en ligne :https://hyper.ai/tutorials/25044
* Ensembles de données publics
1. Ensemble de données de super-résolution MSU

L'ensemble de données contient des vidéos intérieures et extérieures ainsi que des animations, et toutes les vidéos ont de faibles valeurs SI/TI et des textures simples. Conçu pour minimiser les éventuels artefacts de compression et restaurer les détails.
Utilisation directe :https://hyper.ai/datasets/20401
2. Ensemble de données vidéo en super-résolution de l'Université d'État du Michigan

Cet ensemble de données est utilisé pour les tâches de super-résolution vidéo et contient le contenu le plus complexe dans les tâches de restauration de détails : visages, texte, codes QR, plaques d'immatriculation, textures sans motifs affichés et petits détails. La vidéo comprend différents types de mouvement ainsi que différents types de flou : interpolation bicubique, flou gaussien et sous-échantillonnage.
Utilisation directe :https://hyper.ai/datasets/17212
3. Ensemble de données d'images super-résolution DRealSR

Cet ensemble de données est un ensemble de données d'images en super-résolution sur le processus réel de dégradation d'image, atténuant les limites de la dégradation d'image simulée traditionnelle. L'ensemble de données couvre des scènes intérieures et extérieures, telles que des affiches publicitaires, des plantes, des bureaux et des bâtiments.
Utilisation directe :https://hyper.ai/datasets/20446
4. Ensemble de données de super-résolution TextZoom

Cet ensemble de données se compose de paires d'images basse résolution (LR) et haute résolution (HR). Les images ont été prises dans la nature par des caméras avec différentes focales. Chaque paire d'images possède une étiquette sous forme de chaîne sensible à la casse (y compris la ponctuation), un type de cadre de délimitation et une distance focale d'origine.
Utilisation directe :https://hyper.ai/datasets/19550
5. Ensemble de données de super-résolution d'images SR-RAW

Cet ensemble de données contient des données de capteur RAW avec des images haute résolution réelles capturées à des niveaux de zoom optique élevés. Chaque séquence contient 7 (certaines en contiennent 6) images prises à différentes distances focales.
Utilisation directe :
https://hyper.ai/datasets/19743
6.Set5, Set14 Ensemble de données de super-résolution d'image unique de faible complexité

Il s'agit d'un ensemble de données de super-résolution d'image unique à faible complexité basé sur l'intégration de voisinage non négative. L'ensemble d'entraînement est utilisé pour la reconstruction de super-résolution d'image unique, reconstruisant des images haute résolution à partir d'images basse résolution pour obtenir des informations plus détaillées. Il est largement utilisé dans la vision par ordinateur et les graphiques, l'imagerie médicale, la surveillance de la sécurité et d'autres domaines.
Utilisation directe :
https://hyper.ai/datasets/5382
7. Ensemble de données super-résolution d'image unique DIV2K

Cet ensemble de données contient 1000 images basse résolution avec différents types de dégradation, qui peuvent être utilisées pour reconstruire des images haute résolution à partir d'images basse résolution.

Utilisation directe :https://hyper.ai/datasets/15624
8.S2-NAIP Ensemble de données de télédétection à super-résolution américaine

Cet ensemble de données contient des images NAIP et Sentinel-2 appariées pour les États-Unis continentaux. Il fournit un support de données de haute précision pour la surveillance de surface, la gestion des ressources et l’évaluation des changements environnementaux.
Utilisation directe :
https://hyper.ai/datasets/30427
9. Ensemble de données d'images à super-résolution Sun-Hays 80

Cet ensemble de données utilise des descriptions de scènes globales pour comparer et rechercher des scènes associées dans des bases de données d'images. Les scènes fournissent des exemples de textures idéales pour limiter les problèmes d’échantillonnage d’images.
Utilisation directe :https://hyper.ai/datasets/5391
10. Ensemble de données de reconstruction super-résolution Urban100

L'ensemble de données contient des scènes urbaines complexes avec des détails dans différentes bandes de fréquences. La réduction de l'image réelle à l'aide d'une interpolation bicubique peut obtenir des paires d'images LR/HR pour obtenir des ensembles de données d'entraînement et de test.
Utilisation directe :
https://hyper.ai/datasets/5385
Ce qui précède est un résumé des ressources de super-résolution sur le site officiel d'HyperAI. Si vous voyez des projets de haute qualité, veuillez laisser un message en arrière-plan pour nous les recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats des applications~
Scannez le code QR pour rejoindre le groupe d'échange de tutoriels