Mean-Shifted Contrastive Loss für die Anomalieerkennung

Deep Anomalieerkennungsmethoden lernen Darstellungen, die normale von anomalen Bildern unterscheiden. Obwohl selbstüberwachtes Darstellungslernen üblich ist, beschränkt die geringe Größe von Datensätzen dessen Wirksamkeit. Es wurde bereits gezeigt, dass die Nutzung externer, generischer Datensätze (z. B. ImageNet-Klassifikation) die Leistung der Anomalieerkennung erheblich verbessern kann. Ein Ansatz ist die Outlier-Exposition, die jedoch versagt, wenn die externen Datensätze den Anomalien nicht ähneln. Wir verfolgen den Ansatz, Darstellungen zu übertragen, die auf externen Datensätzen vortrainiert wurden, um Anomalien zu erkennen. Die Leistung der Anomalieerkennung kann erheblich gesteigert werden, indem die vortrainierten Darstellungen an den normalen Trainingsbildern feinabgestimmt werden. In diesem Paper zeigen und analysieren wir zunächst, dass kontrastives Lernen, das populärste Paradigma des selbstüberwachten Lernens, nicht naiv auf vortrainierte Merkmale angewendet werden kann. Der Grund hierfür liegt darin, dass die Initialisierung der vortrainierten Merkmale eine schlechte Bedingung für die herkömmlichen kontrastiven Ziele verursacht, was zu ungünstigen Optimierungsdynamiken führt. Auf Basis unserer Analyse stellen wir ein modifiziertes kontrastives Ziel vor: die Mean-Shifted Contrastive Loss. Unser Ansatz erweist sich als äußerst wirksam und erreicht eine neue state-of-the-art-Leistung bei der Anomalieerkennung, einschließlich einer ROC-AUC von 98,6 % auf dem CIFAR-10-Datensatz.