Changement de professeurs temporaires pour la segmentation sémantique semi-supervisée

Le cadre enseignant-élève, couramment utilisé dans le cadre de la segmentation sémantique semi-supervisée, repose principalement sur la moyenne mobile exponentielle (EMA) pour mettre à jour les poids d’un unique enseignant en fonction de ceux de l’élève. Toutefois, cette mise à jour par EMA entraîne un problème crucial : les poids de l’enseignant et de l’élève deviennent couplés, créant un goulot d’étranglement potentiel en termes de performance. Ce problème s’aggrave davantage lors de l’entraînement avec des étiquettes plus complexes, telles que des masques de segmentation, en présence de très peu de données annotées. Ce papier présente Dual Teacher, une approche simple mais efficace, qui utilise deux enseignants temporaires afin de réduire le couplage entre l’enseignant et l’élève. Ces enseignants temporaires agissent par tours successifs et sont progressivement améliorés, empêchant ainsi de manière cohérente l’approche excessive entre l’enseignant et l’élève. Plus précisément, les enseignants temporaires prennent tour à tour la responsabilité de générer des pseudo-étiquettes afin d’entraîner le modèle élève, tout en préservant les caractéristiques distinctes de l’élève à chaque époque. En conséquence, Dual Teacher atteint des performances compétitives sur les benchmarks PASCAL VOC, Cityscapes et ADE20K, avec des temps d’entraînement notablement plus courts que les méthodes de pointe. En outre, nous démontrons que notre approche est indépendante du modèle et compatible à la fois avec les architectures basées sur les CNN et les modèles fondés sur les Transformers. Le code est disponible à l’adresse suivante : https://github.com/naver-ai/dual-teacher.