Rapport technique de la piste du défi LVIS : Solution primée en 1re place : Équilibrage de la distribution et amélioration des frontières pour la segmentation d'instances à vocabulaire étendu

Ce rapport présente les détails techniques de l'équipe FuXi-Fresher pour le défi LVIS 2021. Notre méthode se concentre sur deux aspects clés : la distribution longue-queue (long-tail distribution) et la qualité de segmentation des masques et des contours. En s’appuyant sur l’algorithme avancé de segmentation d’instances HTC, nous avons intégré un squelette transformer (Swin-L) via des connexions composites inspirées de CBNetv2 afin d’améliorer les résultats de base. Pour atténuer le problème de la distribution longue-queue, nous avons conçu une méthode d’équilibrage de distribution comprenant deux modules : un équilibrage du jeu de données et un équilibrage de la fonction de perte. Par ailleurs, nous avons mis en œuvre une méthode de raffinement du masque et des contours, basée sur des algorithmes de notation de masques et de raffinement de masques, afin d’améliorer la qualité de segmentation. De manière surprenante, nous avons constaté que l’arrêt anticipé combiné à la méthode EMA (Exponential Moving Average) permettait une amélioration significative. Enfin, en utilisant un test multi-échelle et en augmentant la limite supérieure du nombre d’objets détectés par image, nous avons atteint un score de 45,4 % en AP (Boundary AP) sur l’ensemble de validation du défi LVIS 2021. Sur les données de test du défi LVIS 2021, nous avons obtenu la première place avec un score de 48,1 % en AP. Notons que notre score APr atteint 47,5 %, très proche du score APf de 48,0 %.