ScatSimCLR: selbstüberwachtes kontrastives Lernen mit Vorab-Aufgaben-Regularisierung für kleine Datensätze

In diesem Artikel betrachten wir ein Problem des selbstüberwachten Lernens für kleine Datensätze basierend auf einer kontrastiven Verlustfunktion zwischen mehreren Ansichten der Daten, die sich bei Klassifizierungsaufgaben als state-of-the-art erwiesen hat. Trotz der veröffentlichten Ergebnisse sind Faktoren wie die Komplexität des Trainings, die erforderliche Anzahl an durch Datenaugmentation erzeugten Ansichten sowie deren Einfluss auf die Klassifizierungsgenauigkeit bisher untererforscht. Um die Rolle dieser Faktoren zu klären, untersuchen wir eine Architektur des kontrastiven Verlustsystems wie SimCLR, bei der das Basismodell durch ein geometrisch invariantes „handgefertigtes“ Netzwerk, ScatNet, ergänzt wird, das mit einem kleinen trainierbaren Adapternetzwerk kombiniert ist. Wir argumentieren, dass die Anzahl der Parameter des gesamten Systems sowie die Anzahl der Ansichten erheblich reduziert werden können, ohne die Klassifizierungsgenauigkeit praktisch zu beeinträchtigen. Darüber hinaus untersuchen wir den Einfluss von Regularisierungsstrategien, die auf einer Vorwärtsaufgabe (pretext task) basieren, wobei die Parameter der Augmentations-Transformationen – beispielsweise Drehung und Jigsaw-Permutation – geschätzt werden, sowohl für herkömmliche Basismodelle als auch für auf ScatNet basierende Modelle. Schließlich zeigen wir, dass die vorgeschlagene Architektur mit Regularisierung durch Vorwärtsaufgaben die state-of-the-art-Leistung bei der Klassifizierung erreicht, wobei gleichzeitig die Anzahl der trainierbaren Parameter und die Anzahl der benötigten Ansichten reduziert werden.