Mettre en évidence la calibration implicite : calibrer le débruiteur au lieu du modèle de bruit

Les méthodes fondées sur une calibration explicite dominent le débruitage d’images RAW dans des conditions de faible luminosité extrême. Toutefois, ces approches sont freinées par plusieurs limites critiques : a) le processus de calibration explicite est à la fois laborieux et chronophage, b) il existe des difficultés à transférer les dénoiseurs entre différents modèles de caméra, et c) l’écart entre le bruit synthétique et le bruit réel s’aggrave en raison du gain numérique. Pour surmonter ces défis, nous proposons une nouvelle architecture révolutionnaire baptisée Lighting Every Darkness (LED), efficace indépendamment du gain numérique ou du capteur de la caméra. LED élimine la nécessité de calibration explicite du modèle de bruit, en adoptant à la place un processus de fine-tuning implicite permettant un déploiement rapide et nécessitant très peu de données. Des modifications structurelles sont également intégrées afin de réduire l’écart entre le bruit synthétique et le bruit réel, sans toutefois engendrer de coût computationnel supplémentaire. Notre méthode dépasse les approches existantes sur divers modèles de caméra, y compris des modèles récents non présents dans les jeux de données publics, en utilisant uniquement quelques paires par niveau de gain numérique et seulement 0,5 % des itérations typiques. En outre, LED permet aux chercheurs de se concentrer davantage sur les progrès en apprentissage profond, tout en tirant pleinement parti des avantages de l’ingénierie du capteur. Le code source et les matériaux associés sont disponibles à l’adresse suivante : https://srameo.github.io/projects/led-iccv23/.