MT-SLVR: Mehrfach-Aufgaben-basiertes Selbstüberwachtes Lernen für Transformation (In)varianter Darstellungen

Kontrastives selbstüberwachtes Lernen hat aufgrund seiner Fähigkeit, hochwertige Repräsentationen aus großen unlabeleden Datensätzen zu erstellen, an Bedeutung gewonnen. Ein wesentlicher Grund, warum diese leistungsfähigen Merkmale die dateneffiziente Lernfähigkeit für nachgelagerte Aufgaben ermöglichen, ist ihre Invarianz gegenüber Datenverstärkungen (augmentation invariance), die oft ein nützliches induktives Vorurteil darstellt. Allerdings sind die Menge und Art der bevorzugten Invarianzen nicht vorab bekannt und variieren je nach nachgelagerten Aufgabe. Wir schlagen daher einen mehrfach-aufgabenbasierten selbstüberwachten Framework (MT-SLVR) vor, der sowohl variant als auch invarianten Merkmale auf effiziente Weise lernfähig macht. Unsere mehrfach-aufgabenbasierte Repräsentation bietet eine starke und flexible Eigenschaft, die verschiedene nachgelagerte Aufgaben fördert. Wir evaluieren unseren Ansatz anhand von Few-Shot-Klassifikationsaufgaben aus verschiedenen Audiodomains und zeigen eine verbesserte Klassifikationsleistung bei allen von ihnen.