Wiederholende Reprediction Tiefes Entschlüsseln für semi-supervises Lernen

Die meisten aktuellen semi-überwachten Tiefen-Lernmethoden (Tiefes SSL) folgten einem ähnlichen Paradigma: die Netzwerkvorhersagen werden verwendet, um Pseudo-Labels zu aktualisieren, und diese Pseudo-Labels werden wiederum verwendet, um die Netzwerkparameter iterativ zu aktualisieren. Allerdings fehlt es ihnen an theoretischer Begründung, und sie können nicht erklären, warum Vorhersagen gute Kandidaten für Pseudo-Labels sind. In dieser Arbeit schlagen wir ein präzises End-to-End-Framework namens Deep Decipher (D2) für SSL vor. Innerhalb des D2-Frameworks beweisen wir, dass Pseudo-Labels durch eine exponentielle Verknüpfungsfunktion mit den Netzwerkvorhersagen in Beziehung stehen, was eine theoretische Grundlage für die Verwendung von Vorhersagen als Pseudo-Labels liefert. Darüber hinaus zeigen wir, dass das Aktualisieren von Pseudo-Labels durch Netzwerkvorhersagen ihre Unsicherheit erhöht. Um dieses Problem zu mildern, schlagen wir eine Trainingsstrategie vor, die als repetitive Reprediction (R2) bezeichnet wird. Schließlich wird die vorgeschlagene R2-D2-Methode auf dem großen ImageNet-Datensatz getestet und übertreffen dabei die Stand der Technik um 5 Prozentpunkte.