Supervision intra-batch pour la segmentation panoptique sur des images à haute résolution

Les méthodes unifiées de segmentation panoptique atteignent actuellement des résultats de pointe sur plusieurs jeux de données. Pour obtenir ces performances sur des jeux de données à haute résolution, ces méthodes recourent à un entraînement par découpage (crop-based training). Dans ce travail, nous constatons qu’encore si cet entraînement par découpage présente un avantage général, il présente également un effet secondaire néfaste. Plus précisément, il limite la capacité des réseaux unifiés à distinguer entre des instances d’objets de grande taille, conduisant à des prédictions confuses entre plusieurs instances. Pour résoudre ce problème, nous proposons une supervision intra-batch (Intra-Batch Supervision, IBS), qui améliore la capacité du réseau à discriminer les instances en introduisant une supervision supplémentaire basée sur plusieurs images provenant de la même batch. Nous démontrons que, grâce à notre IBS, nous parvenons efficacement à résoudre le problème de confusion et à améliorer de manière cohérente les performances des réseaux unifiés. Sur les jeux de données à haute résolution Cityscapes et Mapillary Vistas, nous obtenons des améliorations allant jusqu’à +2,5 en qualité panoptique pour les classes d’objets (thing classes), ainsi que des gains encore plus significatifs allant jusqu’à +5,8 en précision au niveau des pixels et en précision au niveau des pixels — des métriques que nous identifions comme mieux adaptées à la capture du problème de confusion.