Mask Frozen-DETR : Segmentations d'instances de haute qualité avec une seule GPU

Dans cet article, nous visons à étudier la manière de concevoir un segmenteur d'instances performant avec un temps de formation minimal et une consommation réduite de GPU, contrairement à la majorité des approches actuelles qui visent une précision accrue en développant des architectures plus avancées, au prix d’un temps de formation plus long et d’une exigence plus élevée en ressources GPU. Pour atteindre cet objectif, nous proposons un cadre simple et général, appelé Mask Frozen-DETR, capable de transformer tout modèle existant de détection d'objets basé sur DETR en un modèle puissant de segmentation d'instances. Notre méthode nécessite uniquement l'entraînement d'un réseau léger supplémentaire, chargé de prédire les masques d'instances à l'intérieur des boîtes englobantes fournies par un détecteur d'objets basé sur DETR figé. Notamment, notre méthode surpasser le state-of-the-art en segmentation d'instances, Mask DINO, sur le split test-dev du dataset COCO (55,3 % contre 54,7 %), tout en étant plus de 10 fois plus rapide à entraîner. En outre, l'ensemble de nos expériences peut être entièrement entraîné à l’aide d’une seule carte GPU Tesla V100 dotée de 16 Go de mémoire, ce qui démontre l’efficacité remarquable de notre cadre proposé.