Déentrelacement multi-domaines à l'aide de blocs résiduels de convolution déformable et d'auto-attention

Bien que l'apprentissage profond ait eu un impact significatif sur la restauration d'images/vidéos et la super-résolution, l'apprentissage du désentrelacement n'a jusqu'à présent reçu que peu d'attention dans les milieux académiques ou industriels. Cela est d'autant plus surprenant que le désentrelacement est bien adapté à l'apprentissage supervisé à partir de données synthétiques, étant donné que le modèle de dégradation est connu et fixe. Dans cet article, nous proposons un nouveau réseau de désentrelacement multi-champs à taux d'images complet, qui adapte les approches de super-résolution les plus avancées à la tâche de désentrelacement. Notre modèle aligne les caractéristiques des champs adjacents sur un champ de référence (à désentrelacer) en utilisant à la fois des blocs résiduels de convolution déformable et l'auto-attention. Nos résultats expérimentaux exhaustifs montrent que la méthode proposée fournit des résultats de désentrelacement de pointe, tant en termes de performance numérique que perceptuelle. Au moment où nous écrivons ces lignes, notre modèle occupe la première place du classement Full FrameRate disponible à l'adresse https://videoprocessing.ai/benchmarks/deinterlacer.html.