CFR-ICL : Raffinement en cascade avant avec perte itérative de clic pour la segmentation d’image interactive

La segmentation interactive basée sur les clics vise à extraire l’objet d’intérêt à partir d’une image grâce à des clics utilisateur. Les travaux récents ont obtenu de très bons résultats globaux en exploitant des retours issus des sorties. Toutefois, dans la plupart des approches de pointe, deux limites persistent : 1) l’étape d’inférence repose sur des règles heuristiques rigides et nécessite un modèle de raffinement séparé, et 2) il existe un déséquilibre entre le nombre de clics utilisateurs et la performance du modèle. Pour surmonter ces défis, nous proposons un cadre de segmentation d’images interactive basé sur les clics et guidé par les masques, comprenant trois composants novateurs : le raffinement en cascade vers l’avant (Cascade-Forward Refinement, CFR), la perte itérative par clic (Iterative Click Loss, ICL) et une augmentation d’images SUEM. Le CFR offre un cadre d’inférence unifié permettant de générer des résultats de segmentation de manière grossière à fine. La perte ICL proposée permet d’entraîner le modèle afin d’améliorer simultanément la précision de segmentation et de réduire le nombre d’interactions utilisateur. L’augmentation SUEM introduite constitue une méthode complète pour créer des jeux de données d’entraînement étendus et diversifiés adaptés à la segmentation interactive. Des expériences étendues démontrent que l’approche proposée atteint des performances de pointe sur cinq jeux de données publics. Notamment, notre modèle réduit respectivement de 33,2 % et 15,5 % le nombre de clics nécessaires pour dépasser un indice de jaccard (IoU) de 0,95 par rapport à l’état de l’art précédent sur les jeux Berkeley et DAVIS.