Distill-DBDGAN : Cadre de distillation de connaissances et d’apprentissage adversaire pour la détection du flou de mise au point

La détection du flou de mise au point (Defocus Blur Detection, DBD) vise à segmenter les régions floues à partir d'une image affectée par un flou de mise au point. Il s'agit d'une étape préalable cruciale pour de nombreuses tâches de vision par ordinateur. Avec la croissance croissante des appareils mobiles compacts, il devient nécessaire de disposer d'une méthode efficace sur le plan computationnel pour détecter précisément le flou de mise au point. Nous proposons une méthode efficace de détection du flou de mise au point qui estime la probabilité qu’un pixel donné soit net ou flou, adaptée aux dispositifs à ressources limitées. Malgré les progrès récents réalisés par les méthodes basées sur l’apprentissage profond, celles-ci restent confrontées à plusieurs défis, notamment le bruit de fond, la sensibilité à l’échelle, la difficulté à distinguer les régions nettes à faible contraste des zones floues, ainsi que des coûts computationnels élevés et des besoins mémoire importants. Pour surmonter les trois premiers défis, nous avons conçu un nouveau réseau profond permettant de détecter efficacement la carte de flou à partir d’une image floue. Plus précisément, nous intégrons des caractéristiques multi-échelles dans le réseau profond afin de résoudre les ambiguïtés d’échelle, tout en modélisant simultanément les corrélations structurelles non locales présentes dans les caractéristiques de haut niveau liées au flou. Pour traiter les deux derniers problèmes, nous formulons finalement notre algorithme DBD en utilisant une distillation de connaissances, transférant les informations d’un réseau enseignant plus volumineux vers un réseau étudiant compact. Tous les réseaux sont entraînés de manière adversaire de manière end-to-end afin d’assurer une cohérence d’ordre supérieur entre les sorties produites et les distributions cibles. Les résultats expérimentaux démontrent les performances de pointe du réseau enseignant plus grand, tandis que notre modèle léger proposé parvient à imiter fidèlement la sortie du réseau enseignant sans perte significative de précision. Les codes sources, les poids pré-entraînés et les résultats seront rendus accessibles au public.