DeblurGAN-v2 : Défloutage (d'ordres de grandeur) plus rapide et meilleur

Nous présentons un nouveau réseau de neurones génératif adversarial (GAN) de bout en bout pour le défloutage de mouvement d'images uniques, nommé DeblurGAN-v2, qui améliore considérablement l'efficacité, la qualité et la flexibilité des méthodes actuelles de défloutage. DeblurGAN-v2 est basé sur un GAN conditionnel relativiste équipé d'un discriminateur à double échelle. Pour la première fois, nous intégrons le Réseau Pyramidal de Caractéristiques (Feature Pyramid Network) dans le processus de défloutage, en tant que bloc fondamental du générateur de DeblurGAN-v2. Ce réseau peut fonctionner de manière flexible avec une large gamme de backbones, permettant ainsi d'équilibrer les performances et l'efficacité. L'utilisation de backbones sophistiqués (par exemple, Inception-ResNet-v2) peut conduire à des résultats solides parmi les meilleurs actuels en matière de défloutage. Parallèlement, avec des backbones légers (par exemple, MobileNet et ses variantes), DeblurGAN-v2 est 10 à 100 fois plus rapide que les concurrents les plus proches tout en maintenant des résultats proches des meilleures performances actuelles, ce qui suggère la possibilité du défloutage vidéo en temps réel. Nous montrons que DeblurGAN-v2 obtient des performances très compétitives sur plusieurs benchmarks populaires, tant en termes de qualité du défloutage (objectif et subjectif) que d'efficacité. En outre, nous démontrons que cette architecture est également efficace pour les tâches générales de restauration d'images. Nos codes, modèles et données sont disponibles à l'adresse suivante : https://github.com/KupynOrest/DeblurGANv2