Untersuchung der Grenzen der Out-of-Distribution-Detektion

Nahezu außerhalb der Verteilung liegende (near out-of-distribution, near OOD) Erkennung stellt eine erhebliche Herausforderung für tiefe neuronale Netze dar. Wir zeigen, dass großskalige, vortrainierte Transformatoren die derzeitige Stand der Technik (SOTA) auf einer Vielzahl von near OOD-Aufgaben verschiedener Datentypen erheblich verbessern können. Beispielsweise steigern wir die AUROC bei der OOD-Erkennung zwischen CIFAR-100 und CIFAR-10 von der aktuellen SOTA von 85 % auf über 96 %, indem wir Vision-Transformatoren einsetzen, die auf ImageNet-21k vortrainiert wurden. Auf einem anspruchsvollen Benchmark für Genomik-OOD-Erkennung verbessern wir die AUROC von 66 % auf 77 % durch den Einsatz von Transformatoren und unsupervisioniertes Vortrainieren. Um die Leistung weiter zu steigern, untersuchen wir die Few-Shot-Outlier-Exposure-Situation, bei der nur wenige Beispiele aus outlier-Klassen zur Verfügung stehen; wir zeigen, dass vortrainierte Transformatoren besonders gut für die Outlier-Exposure geeignet sind, und erreichen bei der OOD-Erkennung zwischen CIFAR-100 und CIFAR-10 eine AUROC von 98,7 % mit lediglich einem Bild pro OOD-Klasse und von 99,46 % mit zehn Bildern pro OOD-Klasse. Für multimodale, bild- und textbasierte vortrainierte Transformatoren wie CLIP erforschen wir eine neue Methode, bei der lediglich die Namen der outlier-Klassen als einzige Informationsquelle verwendet werden, ohne dass Begleitbilder erforderlich sind; wir zeigen, dass diese Vorgehensweise die bisherige SOTA auf Standard-Benchmarks für visuelle OOD-Aufgaben übertrifft.