Reconnaissance à grande échelle et à queue longue dans un monde ouvert
Les données du monde réel présentent souvent une distribution à queue longue et ouverte. Un système de reconnaissance pratique doit classer les classes majoritaires et minoritaires, généraliser à partir de quelques instances connues, et reconnaître la nouveauté lorsqu'une instance jamais vue apparaît. Nous définissons la Reconnaissance à Queue Longue et Ouverte (OLTR) comme l'apprentissage à partir de données distribuées naturellement et l'optimisation de la précision de classification sur un ensemble de tests équilibré comprenant des classes tête, queue, et ouvertes. L'OLTR doit gérer le classement déséquilibré, l'apprentissage par few-shot, et la reconnaissance en ensemble ouvert dans un algorithme intégré unique, alors que les approches actuelles de classification se concentrent uniquement sur un aspect et performe mal sur l'ensemble du spectre des classes. Les défis clés sont de savoir comment partager les connaissances visuelles entre les classes tête et queue, et comment réduire la confusion entre les classes queue et ouvertes. Nous développons un algorithme OLTR intégré qui mappe une image dans un espace de caractéristiques tel que les concepts visuels puissent facilement être liés entre eux grâce à une métrique apprise respectant le classement en monde fermé tout en reconnaissant la nouveauté du monde ouvert. Notre méta-embedding dynamique combine une caractéristique d'image directe et une caractéristique associée en mémoire, avec la norme de la caractéristique indiquant le niveau de familiarité avec les classes connues. Sur trois grands ensembles de données OLTR que nous avons compilés à partir des données centrées sur les objets d'ImageNet, centrées sur les scènes de Places, et centrées sur les visages de MS1M, notre méthode surpassent constamment l'état de l'art. Notre code source, nos ensembles de données et nos modèles permettent des recherches futures en OLTR et sont disponibles au public sur https://liuziwei7.github.io/projects/LongTail.html.