SwinIA : Débruitage d'images à points aveugles auto-supervisé sans convolutions

L'apprentissage auto-supervisé de débruitage d'images implique la restauration du signal à partir d'une image bruitée sans accès à la vérité terrain. Les solutions les plus avancées pour cette tâche reposent sur la prédiction de pixels masqués à l'aide d'un réseau neuronal entièrement convolutif. Cela nécessite généralement plusieurs passages en avant, des informations sur le modèle de bruit ou des fonctions de régularisation complexes. Dans cet article, nous proposons un Image Autoencoder basé sur le Swin Transformer (SwinIA), la première architecture entièrement transformer pour le débruitage auto-supervisé. La flexibilité du mécanisme d'attention aide à satisfaire la propriété du point aveugle que les homologues convolutifs approximent généralement. Le SwinIA peut être entraîné de bout en bout avec une perte quadratique moyenne simple, sans masquage et n'exige aucune connaissance préalable sur les données propres ou la distribution du bruit. Facile à utiliser, le SwinIA établit l'état de l'art sur plusieurs benchmarks courants.