DualDn : Débruitage dual-domain par ISP différentiable

Le débruitage d’images constitue une composante essentielle dans le pipeline de traitement du signal d’image (ISP) d’un appareil photo. Deux approches classiques permettent d’intégrer un débruiteur dans ce pipeline : appliquer le débruiteur directement aux trames brutes capturées (dans le domaine brut) ou aux images sRGB produites par l’ISP (dans le domaine sRGB). Toutefois, ces deux méthodes présentent des limitations. Le bruit résiduel issu du débruitage dans le domaine brut peut être amplifié par les étapes ultérieures du traitement ISP, tandis que le domaine sRGB peine à gérer un bruit variant spatialement, car il ne perçoit que le bruit déformé par le processus ISP. En conséquence, la plupart des méthodes de débruitage dans le domaine brut ou sRGB ne fonctionnent qu’avec des distributions de bruit et des configurations d’ISP spécifiques. Pour surmonter ces défis, nous proposons DualDn, un nouveau débruiteur basé sur l’apprentissage, opérant dans deux domaines simultanément. Contrairement aux méthodes précédentes basées sur un seul domaine, DualDn repose sur deux réseaux de débruitage : l’un dans le domaine brut, l’autre dans le domaine sRGB. Le débruitage dans le domaine brut s’adapte au bruit propre au capteur ainsi qu’aux niveaux de bruit spatialement variables, tandis que le débruitage dans le domaine sRGB s’adapte aux variations de l’ISP et élimine le bruit résiduel amplifié par ce dernier. Les deux réseaux de débruitage sont connectés à un modèle d’ISP différentiable, entraîné de manière end-to-end puis supprimé lors de l’inférence. Grâce à cette architecture, DualDn offre une généralisation supérieure par rapport à la plupart des méthodes de débruitage basées sur l’apprentissage, car il peut s’adapter à différents types de bruit inconnus, à divers paramètres d’ISP, voire à de nouveaux pipelines ISP. Les expériences montrent que DualDn atteint des performances de pointe et peut s’adapter à différentes architectures de débruitage. En outre, DualDn peut être utilisé comme module plug-and-play avec des appareils photo réels sans re-entraînement, tout en surpassant les performances du débruitage intégré aux appareils commerciaux. Le site du projet est disponible à l’adresse suivante : https://openimaginglab.github.io/DualDn/