HyperAIHyperAI

Command Palette

Search for a command to run...

DMT : Entraînement mutuel dynamique pour l'apprentissage semi-supervisé

Zhengyang Feng Qianyu Zhou Qiqi Gu Xin Tan Guangliang Cheng Xuequan Lu Jianping Shi Lizhuang Ma

Résumé

Les méthodes récentes d’apprentissage semi-supervisé reposent sur l’idée centrale de la supervision pseudo-étiquetée, en particulier les approches de self-training qui génèrent des pseudo-étiquettes. Toutefois, ces pseudo-étiquettes sont intrinsèquement peu fiables. Les méthodes de self-training s’appuient généralement sur la confiance des prédictions d’un seul modèle pour filtrer les pseudo-étiquettes à faible confiance, ce qui entraîne la persistance d’erreurs à haute confiance tout en négligeant de nombreuses étiquettes correctes à faible confiance. Dans cet article, nous soulignons qu’il est difficile pour un modèle de corriger ses propres erreurs. À la place, exploiter le désaccord inter-modèles entre différents modèles apparaît comme une clé pour localiser les erreurs dans les pseudo-étiquettes. À partir de cette nouvelle perspective, nous proposons une méthode de mutual training entre deux modèles distincts, basée sur une fonction de perte rééquilibrée dynamiquement, appelée Dynamic Mutual Training (DMT). Nous quantifions le désaccord inter-modèles en comparant les prédictions issues de deux modèles différents afin de réajuster dynamiquement la fonction de perte pendant l’entraînement : un désaccord plus important indique une possible erreur et correspond à une valeur de perte plus faible. Des expériences étendues montrent que DMT atteint des performances de pointe dans les tâches de classification d’images et de segmentation sémantique. Le code source est disponible à l’adresse suivante : https://github.com/voldemortX/DST-CBC.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
DMT : Entraînement mutuel dynamique pour l'apprentissage semi-supervisé | Articles | HyperAI