ConvNets déformables v2 : Plus déformables, meilleurs résultats

Les performances supérieures des Réseaux de Convolution Déformables (Deformable Convolutional Networks) découlent de leur capacité à s'adapter aux variations géométriques des objets. En examinant leur comportement adaptatif, nous constatons que, bien que le support spatial de leurs caractéristiques neuronales s'ajuste plus étroitement que celui des ConvNets réguliers à la structure des objets, ce support peut néanmoins s'étendre bien au-delà de la région d'intérêt, entraînant une influence des caractéristiques par du contenu d'image non pertinent. Pour résoudre ce problème, nous proposons une reformulation des Réseaux de Convolution Déformables qui améliore leur capacité à se concentrer sur les régions d'image pertinentes, grâce à une puissance de modélisation accrue et à un entraînement plus robuste. La puissance de modélisation est renforcée par une intégration plus complète de la convolution déformable au sein du réseau et par l'introduction d'un mécanisme de modulation qui élargit la portée du modèle de déformation. Pour exploiter efficacement cette capacité de modélisation enrichie, nous guidons l'entraînement du réseau par un schéma de mimétisme de caractéristiques proposé, qui aide le réseau à apprendre des caractéristiques reflétant le focus sur l'objet et la puissance de classification des caractéristiques R-CNN. Grâce aux contributions proposées, cette nouvelle version des Réseaux de Convolution Déformables offre des gains de performance significatifs par rapport au modèle original et produit des résultats en tête sur le banc d'essai COCO pour la détection d'objets et le segmention d'instances.