Entverzerrung, Kalibrierung und Verbesserung der semi-überwachten Lernleistung durch einen einfachen Ensemble-Projektor

Neuere Studien zum semiaufgeklärten Lernen (Semi-Supervised Learning, SSL) haben große Erfolge erzielt. Trotz ihrer vielversprechenden Leistung neigen aktuelle state-of-the-art-Methoden dazu, zunehmend komplexe Designs zu entwickeln, was den Nachteil hat, dass mehr Netzkomponenten und zusätzliche Trainingsprozeduren eingeführt werden. In dieser Arbeit schlagen wir eine einfache Methode vor, die Ensemble Projectors Aided for Semi-supervised Learning (EPASS) genannt wird. Diese Methode konzentriert sich hauptsächlich darauf, die gelernten Einbettungen (embeddings) zu verbessern, um die Leistung der existierenden kontrastiven gemeinsamen Trainingsframeworks für semiaufgeklärtes Lernen zu steigern. Im Gegensatz zu Standardmethoden, bei denen die gelernten Einbettungen von einem Projektionskopf (projector) in Speicherbänken gespeichert werden, um mit kontrastivem Lernen verwendet zu werden, speichert EPASS die Ensemble-Einbettungen von mehreren Projektionsköpfen in Speicherbänken. Als Ergebnis verbessert EPASS die Generalisierungsfähigkeit, stärkt die Merkmalsrepräsentation und steigert die Leistung. Zum Beispiel verbessert EPASS starke Baseline-Modelle für semiaufgeklärtes Lernen um 39,47%/31,39%/24,70% des Top-1-Fehlerrates, während es nur 100k/1%/10% der gekennzeichneten Daten für SimMatch verwendet und auf dem ImageNet-Datensatz einen Top-1-Fehlerrate von 40,24%/32,64%/25,90% für CoMatch erreicht. Diese Verbesserungen sind über Methoden, Netzarchitekturen und Datensätze hinweg konsistent und beweisen so die allgemeine Effektivität der vorgeschlagenen Methoden. Der Quellcode ist unter https://github.com/beandkay/EPASS verfügbar.