MaskCon: Maskiertes kontrastives Lernen für grob beschriftete Datensätze

Tiefes Lernen hat in den letzten Jahren unter der Nutzung fortgeschrittener neuronaler Netzstrukturen und umfangreicher menschlich annotierter Datensätze große Erfolge erzielt. Allerdings ist es oft kostspielig und schwierig, große Datensätze präzise und effizient zu annotieren, insbesondere in spezialisierten Bereichen, wo feingranulare Labels erforderlich sind. In diesem Kontext sind grobe Labels viel einfacher zu erlangen, da sie kein Fachwissen erfordern. In dieser Arbeit schlagen wir eine kontrastive Lernmethode vor, die als maskiertes kontrastives Lernen (MaskCon) bezeichnet wird, um das wenig untersuchte Problem zu lösen, bei dem wir mit einem grob annotierten Datensatz lernen, um ein feineres Labeling-Problem anzugehen. Genauer gesagt generiert unsere Methode innerhalb des kontrastiven Lernrahmens für jedes Beispiel Soft-Labels unter Verwendung von groben Labels im Vergleich zu anderen Beispielen und einer weiteren augmentierten Ansicht des betrachteten Beispiels. Im Gegensatz zum selbstüberwachten kontrastiven Lernen, bei dem nur die Augmentierungen eines Beispiels als harte Positivbeispiele angesehen werden, und dem überwachten kontrastiven Lernen, bei dem nur Beispiele mit denselben groben Labels als harte Positivbeispiele gelten, schlagen wir Soft-Labels vor, die auf Abstandsbeziehungen zwischen Beispielen basieren und durch die groben Labels maskiert werden. Dies ermöglicht es uns, sowohl interne Beziehungen zwischen Beispielen als auch grobe Labels zu nutzen. Wir zeigen, dass unsere Methode viele bestehende state-of-the-art Arbeiten als Spezialfälle abdeckt und engerere Schranken für den Generalisierungsfehler bereitstellt. Experimentell erreicht unsere Methode erhebliche Verbesserungen gegenüber dem aktuellen state-of-the-art in verschiedenen Datensätzen, darunter CIFAR10, CIFAR100, ImageNet-1K, Standford Online Products und Stanford Cars196-Datensätze. Der Quellcode und die Annotationen sind unter https://github.com/MrChenFeng/MaskCon_CVPR2023 verfügbar.