HyperAIHyperAI

Command Palette

Search for a command to run...

MaskCon : Apprentissage contrastif masqué pour des jeux de données à étiquettes grossières

Feng Chen ; Patras Ioannis

Résumé

L'apprentissage profond (deep learning) a connu un grand succès ces dernières années grâce à l'aide de structures avancées de réseaux neuronaux et à des ensembles de données à grande échelle annotés par des humains. Cependant, il est souvent coûteux et difficile d'annoter avec précision et efficacement des ensembles de données à grande échelle, en particulier pour certains domaines spécialisés où des étiquettes fines sont nécessaires. Dans ce contexte, les étiquettes grossières (coarse labels) sont beaucoup plus faciles à obtenir car elles ne nécessitent pas de connaissances d'expert. Dans cette étude, nous proposons une méthode d'apprentissage par contraste appelée Apprentissage par Contraste Masqué (MaskCon\textbf{MaskCon}MaskCon) pour aborder le problème sous-exploré où nous apprenons à partir d'un ensemble de données grossièrement étiqueté afin de résoudre un problème d'étiquetage fin. Plus précisément, dans le cadre de l'apprentissage par contraste, notre méthode génère des étiquettes douces (soft-labels) pour chaque échantillon en utilisant les étiquettes grossières par rapport aux autres échantillons et une autre vue augmentée de l'échantillon en question. Contrairement à l'apprentissage par contraste auto-supervisé où seules les augmentations de l'échantillon sont considérées comme positives difficiles (hard positives), et à l'apprentissage par contraste supervisé où seuls les échantillons ayant les mêmes étiquettes grossières sont considérés comme positifs difficiles, nous proposons des étiquettes douces basées sur les distances entre les échantillons, masquées par les étiquettes grossières. Ceci nous permet d'utiliser à la fois les relations inter-échantillons et les étiquettes grossières. Nous démontrons que notre méthode peut obtenir comme cas particuliers de nombreux travaux existants de pointe et qu'elle fournit des bornes plus serrées sur l'erreur de généralisation. Expérimentalement, notre méthode réalise une amélioration significative par rapport à l'état actuel de l'art dans divers ensembles de données, notamment CIFAR10, CIFAR100, ImageNet-1K, Standford Online Products et Stanford Cars196. Le code source et les annotations sont disponibles sur https://github.com/MrChenFeng/MaskCon_CVPR2023.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp