Erkundung der selbstüberwachten Regularisierung für überwachte und halbüberwachte Lernverfahren

Neuere Fortschritte im Bereich des semi-überwachten Lernens haben ein großes Potenzial gezeigt, um eine der größten Hürden für den Erfolg moderner maschineller Lernalgorithmen zu überwinden: den Zugang zu großen Mengen menschlich beschrifteter Trainingsdaten. Frühere Algorithmen, die auf Konsistenzregularisierung basieren, konnten die Fülle von unbeschrifteten Daten nutzen, um beeindruckende Ergebnisse bei einer Reihe von semi-überwachten Benchmarks zu erzielen und dabei die Leistung stark überwachter Baseline-Modelle mit nur einem Bruchteil der verfügbaren beschrifteten Daten zu erreichen. In dieser Arbeit stellen wir die langjährige Erfolgsstory der Konsistenzregularisierung in Frage, indem wir die selbstüberwachte Regularisierung als Grundlage zur Kombination semantischer Merkmalsrepräsentationen aus unbeschrifteten Daten einführen. Wir führen umfangreiche Vergleichsexperimente durch, um die Effektivität der selbstüberwachten Regularisierung für überwachtes und semi-überwachtes Bildklassifizierung auf den Benchmark-Datensätzen SVHN, CIFAR-10 und CIFAR-100 zu demonstrieren. Wir präsentieren zwei Hauptergebnisse: (1) Modelle, die mit selbstüberwachter Regularisierung erweitert wurden, verbessern sich signifikant gegenüber traditionellen überwachten Klassifizierern ohne den Bedarf an unbeschrifteten Daten; (2) zusammen mit unbeschrifteten Daten erzielen unsere Modelle semi-überwachte Leistungen, die wettbewerbsfähig sind und in vielen Fällen sogar die bisherigen Stand-Alone-Konsistenzbaselines übertreffen. Schließlich bieten unsere Modelle den praktischen Vorteil, effizient von Anfang bis Ende trainiert werden zu können und erfordern keine zusätzlichen Hyperparameter für optimale Leistung hinaus über das Standardset zur Ausbildung neuronaler Netze. Referenzcode und -daten sind unter https://github.com/vuptran/sesemi verfügbar.