DeepFashion : Alimentation d'une reconnaissance et recherche robustes des vêtements grâce à des annotations riches

Les progrès récents dans la reconnaissance des vêtements ont été stimulés par la construction de bases de données dédiées aux vêtements. Les bases de données existantes sont limitées en termes de quantité d’annotations et peinent à faire face aux divers défis rencontrés dans les applications du monde réel. Dans ce travail, nous introduisons DeepFashion, une grande base de données d’habillement dotée d’annotations complètes. Elle comprend plus de 800 000 images, richement annotées avec une grande variété d’attributs, de points caractéristiques vestimentaires et de correspondances entre des images prises dans des scénarios variés, tels que les magasins, les photos de rue ou les prises par les consommateurs. Ces annotations riches permettent le développement d’algorithmes puissants pour la reconnaissance des vêtements et favorisent les recherches futures. Pour illustrer les avantages de DeepFashion, nous proposons un nouveau modèle profond, nommé FashionNet, qui apprend des caractéristiques vestimentaires en prédisant simultanément les attributs et les points caractéristiques. Les points caractéristiques estimés sont ensuite utilisés pour extraire ou filtrer les caractéristiques apprises, selon une approche itérative d’optimisation. Des expériences étendues démontrent l’efficacité de FashionNet ainsi que la pertinence de DeepFashion.