IPCL: Iterative Pseudo-Supervised Contrastive Learning zur Verbesserung selbstüberwachter Merkmalsdarstellungen

Selbstüberwachtes Lernen mit einem kontrastiven Batch-Ansatz ist zu einem leistungsfähigen Werkzeug für die Repräsentationslernen in der Computer Vision geworden. Die Leistung bei nachfolgenden Aufgaben ist proportional zur Qualität der visuellen Merkmale, die während des selbstüberwachten Vortrainings erlernt werden. Bestehende kontrastive Batch-Ansätze stützen sich stark auf Datenaugmentation, um latente Informationen aus unbeschrifteten Datensätzen zu lernen. Wir argumentieren, dass die Einbeziehung der intra-klassen-Variabilität des Datensatzes in einen kontrastiven Batch-Ansatz die Qualität der visuellen Repräsentation weiter verbessert. In diesem Paper stellen wir einen neuartigen Ansatz für selbstüberwachtes Lernen namens Iterative Pseudo-überwachter Kontrastiver Lernansatz (IPCL) vor, der eine ausgewogene Kombination aus Bildaugmentation und Pseudoklasseninformation nutzt, um die visuelle Repräsentation iterativ zu verbessern. Experimentelle Ergebnisse zeigen, dass unser vorgeschlagener Ansatz den Basisansatz mit kontrastivem Batch-Ansatz übertrifft. Er verbessert die Qualität der visuellen Repräsentation über mehrere Datensätze hinweg und führt zu einer besseren Leistung bei der nachfolgenden, unsupervisierten Bildklassifikationsaufgabe.