HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Changement de professeurs temporaires pour la segmentation sémantique semi-supervisée

Changement de professeurs temporaires pour la segmentation sémantique semi-supervisée

Résumé

Le cadre enseignant-élève, couramment utilisé dans le cadre de la segmentation sémantique semi-supervisée, repose principalement sur la moyenne mobile exponentielle (EMA) pour mettre à jour les poids d’un unique enseignant en fonction de ceux de l’élève. Toutefois, cette mise à jour par EMA entraîne un problème crucial : les poids de l’enseignant et de l’élève deviennent couplés, créant un goulot d’étranglement potentiel en termes de performance. Ce problème s’aggrave davantage lors de l’entraînement avec des étiquettes plus complexes, telles que des masques de segmentation, en présence de très peu de données annotées. Ce papier présente Dual Teacher, une approche simple mais efficace, qui utilise deux enseignants temporaires afin de réduire le couplage entre l’enseignant et l’élève. Ces enseignants temporaires agissent par tours successifs et sont progressivement améliorés, empêchant ainsi de manière cohérente l’approche excessive entre l’enseignant et l’élève. Plus précisément, les enseignants temporaires prennent tour à tour la responsabilité de générer des pseudo-étiquettes afin d’entraîner le modèle élève, tout en préservant les caractéristiques distinctes de l’élève à chaque époque. En conséquence, Dual Teacher atteint des performances compétitives sur les benchmarks PASCAL VOC, Cityscapes et ADE20K, avec des temps d’entraînement notablement plus courts que les méthodes de pointe. En outre, nous démontrons que notre approche est indépendante du modèle et compatible à la fois avec les architectures basées sur les CNN et les modèles fondés sur les Transformers. Le code est disponible à l’adresse suivante : https://github.com/naver-ai/dual-teacher.

Dépôts de code

Benchmarks

BenchmarkMéthodologieMétriques
semi-supervised-semantic-segmentation-on-1Dual Teacher (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 79.46
semi-supervised-semantic-segmentation-on-2Dual Teacher
Validation mIoU: 78.4
semi-supervised-semantic-segmentation-on-21Dual Teacher
Validation mIoU: 78.82
semi-supervised-semantic-segmentation-on-22Dual Teacher (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 76.81
semi-supervised-semantic-segmentation-on-4Dual Teacher
Validation mIoU: 81.19
semi-supervised-semantic-segmentation-on-8Dual Teacher
Validation mIoU: 80.52
semi-supervised-semantic-segmentation-on-9Dual Teacher
Validation mIoU: 81.03

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp