HyperAIHyperAI

Command Palette

Search for a command to run...

Forte: Ausreißer mittels Schätzung der Repräsentations-Typischkeitsfindung

Debargha Ganguly Warren Morningstar Andrew Yu Vipin Chaudhary

Zusammenfassung

Generative Modelle können heute photorealistische synthetische Daten erzeugen, die von den zur Trainingszeit verwendeten echten Daten praktisch nicht zu unterscheiden sind. Dies stellt eine erhebliche Weiterentwicklung gegenüber früheren Modellen dar, die zwar plausiblen Nachbildungen der Trainingsdaten entsprechen konnten, diese jedoch durch menschliche Beurteilung visuell von den Originaldaten unterscheiden ließen. Neuere Arbeiten zur OOD-Detektion (Out-of-Distribution-Detektion) haben Zweifel daran geweckt, dass Generativmodell-Wahrscheinlichkeiten optimale OOD-Detektoren darstellen, aufgrund von Problemen wie der Fehlschätzung der Wahrscheinlichkeit, der Entropie im Generierungsprozess und der Typizität. Wir vermuten, dass auch generative OOD-Detektoren versagen, weil ihre Modelle sich auf die Pixelwerte konzentrieren, anstatt auf den semantischen Inhalt der Daten. Dies führt zu Fehlern bei nahezu OOD-Daten, bei denen die Pixelstrukturen zwar ähnlich sein mögen, der Informationsgehalt jedoch erheblich unterschiedlich ist. Wir vermuten, dass die Schätzung typischer Mengen mittels selbstüberwachter Lerner zu besseren OOD-Detektoren führt. Wir stellen einen neuartigen Ansatz vor, der Darstellungslernen sowie informative Zusammenfassungsstatistiken auf Basis von Mannigfaltigkeitsabschätzungen nutzt, um alle oben genannten Probleme zu adressieren. Unser Verfahren übertrifft andere unüberwachte Ansätze und erreicht state-of-the-art-Leistung auf etablierten, anspruchsvollen Benchmark-Aufgaben sowie auf neuen Aufgaben zur Erkennung synthetischer Daten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp