Cadre rapide d'adaptation cible basé sur CNN à résolution complète pour la pansharpening

Ces dernières années, un regain d’intérêt s’est fait sentir pour les techniques de fusion de données, en particulier pour la pansharpening, en raison d’un changement de paradigme passant des approches fondées sur des modèles vers des approches pilotées par les données, soutenu par les progrès récents en apprentissage profond. Bien qu’un grand nombre de réseaux de neurones convolutifs (CNN) aient été proposés pour la pansharpening, certains problèmes fondamentaux demeurent sans réponse. Parmi ceux-ci, les capacités de généralisation à travers les échelles et les jeux de données sont probablement les plus urgents, car la plupart des réseaux actuels sont entraînés à une échelle réduite (faible résolution), et bien qu’ils s’adaptent généralement bien à certains jeux de données, ils échouent sur d’autres. Une tentative récente visant à résoudre ces deux problèmes repose sur un schéma d’inférence adaptatif au but, fonctionnant avec une perte appropriée en pleine résolution. Toutefois, une telle approche entraîne un surcoût computationnel supplémentaire en raison de la phase d’adaptation. Dans ce travail, nous proposons une variante de cette méthode, dotée d’un schéma d’adaptation cible efficace, permettant de réduire, en moyenne, le temps d’inférence d’un facteur dix sans perte de précision. Une série étendue d’expériences menées sur trois jeux de données différents — GeoEye-1, WorldView-2 et WorldView-3 — démontre le gain computationnel obtenu tout en maintenant des performances de pointe par rapport aux méthodes de pointe, qu’elles soient basées sur des modèles ou fondées sur l’apprentissage profond. La généralité de la solution proposée a également été validée en appliquant le nouveau cadre d’adaptation à divers modèles CNN.