SwinSF : Reconstruction d'images à partir de flux d'impulsions spatio-temporels
La caméra à pics, grâce à sa haute résolution temporelle, son faible délai et sa grande dynamique, répond aux défis de l'imagerie à haute vitesse tels que le flou de mouvement. Elle capte les photons de manière indépendante à chaque pixel, générant des flux binaires de pics riches en informations temporelles, mais difficiles à reconstruire en image. Les algorithmes actuels, que ce soit des approches traditionnelles ou basées sur l'apprentissage profond, peinent encore à exploiter pleinement les détails temporels riches présents dans ces flux et à restaurer fidèlement les détails des images reconstruites. Pour surmonter ces limitations, nous proposons Swin Spikeformer (SwinSF), un nouveau modèle de reconstruction d'images dynamiques à partir de flux de pics. SwinSF se compose de trois modules : extraction de caractéristiques de pics, extraction de caractéristiques spatio-temporelles, et module de reconstruction finale. Il combine une attention auto-associative à fenêtres décalées et une nouvelle attention temporelle sur les pics, garantissant une extraction complète des caractéristiques qui capture à la fois les dynamiques spatiales et temporelles, aboutissant à une reconstruction plus robuste et précise des flux de pics. En outre, nous avons construit un nouveau jeu de données synthétisé pour la reconstruction d’images à pics, dont la résolution correspond à celle de la dernière génération de caméras à pics, assurant ainsi sa pertinence et son application aux avancées récentes en imagerie à pics. Les résultats expérimentaux démontrent que le réseau proposé, SwinSF, établit une nouvelle référence, atteignant des performances de pointe sur une série de jeux de données, incluant à la fois des données réelles et synthétiques, à différentes résolutions. Nos codes source ainsi que le jeu de données proposé seront bientôt disponibles.