Réseau hiérarchique profond à multiples patches pour le défloutage d'images

Bien que les méthodes d'apprentissage profond bout à bout aient démontré leur supériorité dans l'élimination du flou de mouvement non uniforme, il existe toujours des défis majeurs avec les modèles multi-échelles et récurrents actuels : 1) Les opérations de déconvolution/upsampling dans le schéma grossier-fin entraînent un temps d'exécution coûteux ; 2) Augmenter simplement la profondeur du modèle avec des niveaux plus fins ne peut pas améliorer la qualité de l'élimination du flou. Pour relever ces défis, nous présentons un réseau profond hiérarchique multi-patch inspiré par le Spatial Pyramid Matching pour traiter les images floues via une représentation hiérarchique fine-grossière. Pour faire face à la saturation des performances en fonction de la profondeur, nous proposons une version empilée de notre modèle multi-patch. Notre modèle multi-patch de base proposé atteint des performances de pointe sur l'ensemble de données GoPro tout en bénéficiant d'un temps d'exécution 40 fois plus rapide que les méthodes multi-échelles actuelles. Avec 30 ms pour traiter une image en résolution 1280x720, c'est le premier modèle d'élimination du flou de mouvement en temps réel pour les images 720p à 30 fps. Pour les réseaux empilés, des améliorations significatives (supérieures à 1,2 dB) sont obtenues sur l'ensemble de données GoPro en augmentant la profondeur du réseau. De plus, en variant la profondeur du modèle empilé, on peut adapter les performances et le temps d'exécution du même réseau à différents scénarios d'application.