Apprendre à voir dans l'obscurité

L'imagerie en faible lumière est un défi en raison du faible nombre de photons et du faible rapport signal-bruit (SNR). Les images à courte exposition souffrent de bruit, tandis que les expositions longues peuvent induire des flous et sont souvent impraticables. Une variété de techniques de débruitage, de défloutage et d'amélioration ont été proposées, mais leur efficacité est limitée dans des conditions extrêmes, telles que l'imagerie à la vitesse vidéo la nuit. Pour soutenir le développement de pipelines basés sur l'apprentissage pour le traitement d'images en faible lumière, nous présentons un ensemble de données composé d'images brutes à courte exposition en faible lumière, accompagnées d'images de référence à longue exposition. En utilisant cet ensemble de données, nous développons un pipeline pour le traitement d'images en faible lumière, basé sur une formation bout-à-bout d'un réseau entièrement convolutif. Le réseau opère directement sur les données brutes du capteur et remplace une grande partie du pipeline traditionnel de traitement d'images, qui tend à performer mal avec ce type de données. Nous rapportons des résultats prometteurs sur le nouvel ensemble de données, analysons les facteurs qui influencent les performances et soulignons les opportunités pour des travaux futurs. Les résultats sont présentés dans la vidéo supplémentaire disponible à l'adresse suivante : https://youtu.be/qWKUFK7MWvg