Danse sous les étoiles : suppression de bruit vidéo en lumière d’étoiles

L'imagerie en faible luminosité est extrêmement difficile en raison du faible nombre de photons détectés. Grâce à des capteurs CMOS sensibles, il est actuellement possible de filmer à l’image nocturne sous la lumière de la lune (éclairage compris entre 0,05 et 0,3 lux). Dans cet article, nous démontrons pour la première fois la possibilité d’acquérir des vidéos photoréalistes sous la lumière des étoiles (sans présence de lune, éclairage inférieur à 0,001 lux). Pour y parvenir, nous avons développé un modèle de bruit physique, ajusté par un réseau antagoniste génératif (GAN), afin de représenter plus précisément le bruit des capteurs aux niveaux de luminosité les plus faibles. À l’aide de ce modèle, nous entraînons un débruiteur vidéo en combinant des séquences vidéo bruitées simulées et des images fixes réelles bruitées. Nous avons capturé un jeu de données vidéo à 5 à 10 fps, caractérisé par un mouvement important, à un niveau d’éclairage d’environ 0,6 à 0,7 millilux, sans éclairage actif. En comparaison avec d'autres méthodes, nous obtenons une qualité vidéo améliorée aux niveaux de luminosité les plus faibles, démontrant ainsi pour la première fois la débruitage vidéo photoréaliste sous la lumière des étoiles.