Alle Labels sind nicht gleich: Verbesserung der Semi-Supervision durch Label-Gruppierung und Co-Training

Pseudo-Labeling ist eine zentrale Komponente im halbüberwachten Lernen (Semi-Supervised Learning, SSL). Es basiert darauf, iterativ die Modellvorhersagen zu nutzen, um künstliche Etiketten für die unbeschrifteten Daten zu generieren, die dann zum Training verwendet werden. Ein gemeinsames Merkmal verschiedener Methoden ist, dass sie ausschließlich auf den Modellvorhersagen basieren, um Etikettierungsentscheidungen zu treffen, ohne dabei vorherige Kenntnisse über die visuelle Ähnlichkeit zwischen den Klassen zu berücksichtigen. In diesem Artikel zeigen wir, dass diese Vorgehensweise die Qualität des Pseudo-Labelings beeinträchtigt, da visuell ähnliche Klassen in der Menge der pseudo-etikettierten Daten unzureichend repräsentiert werden. Wir stellen SemCo vor, eine Methode, die Label-Semantik und Co-Training nutzt, um dieses Problem zu lösen. Wir trainieren zwei Klassifikatoren mit zwei unterschiedlichen Ansichten der Klassenetiketten: Der eine Klassifikator verwendet die One-Hot-Darstellung der Etiketten und ignoriert jegliche potenzielle Ähnlichkeit zwischen den Klassen, während der andere eine verteilte Darstellung der Etiketten nutzt und potenziell ähnliche Klassen zusammen gruppiert. Anschließend co-trainieren wir die beiden Klassifikatoren, um auf Basis ihrer Diskrepanzen zu lernen. Wir zeigen, dass unsere Methode eine state-of-the-art-Leistung auf verschiedenen SSL-Aufgaben erzielt, darunter eine Verbesserung der Genauigkeit um 5,6 % auf dem Mini-ImageNet-Datensatz mit nur 1000 beschrifteten Beispielen. Zudem zeigen wir, dass unsere Methode kleinere Batch-Größen und weniger Trainingsiterationen benötigt, um ihre optimale Leistung zu erreichen. Den Quellcode stellen wir unter https://github.com/islam-nassar/semco zur Verfügung.