Patch Craft : Débruitage vidéo par modélisation profonde et appariement de patchs

La propriété d'autosimilarité non locale des images naturelles a été largement exploitée pour résoudre divers problèmes de traitement d'images. Lorsqu'il s'agit de séquences vidéo, l'utilisation de cette propriété est encore plus avantageuse en raison de la redondance temporelle. Dans le contexte du débruitage d'images et de vidéos, de nombreux algorithmes classiques utilisent l'autosimilarité, en divisant les données en patches chevauchants, en regroupant des patches similaires et en les traitant ensemble d'une manière ou d'une autre. Avec l'émergence des réseaux neuronaux convolutifs (CNN), le cadre basé sur les patches a été abandonné. La plupart des débruiteurs CNN opèrent sur l'image entière, exploitant implicitement les relations non locales grâce à un champ récepteur large. Ce travail propose une nouvelle approche pour exploiter l'autosimilarité dans le contexte du débruitage vidéo tout en s'appuyant sur une architecture convolutive standard. Nous introduisons le concept de cadres patch-craft - des cadres artificiels similaires aux vrais, construits en juxtaposant des patches appariés. Notre algorithme enrichit les séquences vidéo avec ces cadres patch-craft et les alimente à un CNN. Nous démontrons l'amélioration significative des performances de débruitage obtenue avec cette approche proposée.