HyperAIHyperAI

Command Palette

Search for a command to run...

Komplexität der Eingabe und Detektion von außerhalb der Verteilung liegenden Daten mit wahrscheinlichkeitsbasierten generativen Modellen

Joan Serrà David Álvarez Vicenç Gómez Olga Slizovskaia José F. Núñez Jordi Luque

Zusammenfassung

Wahrscheinlichkeitsbasierte generative Modelle stellen eine vielversprechende Ressource zur Erkennung von außerhalb der Verteilung liegenden (OOD) Eingaben dar, die die Robustheit oder Zuverlässigkeit eines maschinellen Lernsystems beeinträchtigen könnten. Allerdings haben sich Wahrscheinlichkeiten, die aus solchen Modellen abgeleitet werden, bei der Erkennung bestimmter Eingabetypen als problematisch erwiesen, die sich erheblich von den Trainingsdaten unterscheiden. In diesem Paper argumentieren wir, dass dieses Problem auf den übermäßigen Einfluss der Eingabekomplexität in den Wahrscheinlichkeiten generativer Modelle zurückzuführen ist. Wir präsentieren eine Reihe von Experimenten, die diese Hypothese unterstützen, und nutzen eine Schätzung der Eingabekomplexität, um einen effizienten und parameterfreien OOD-Score abzuleiten, der als Likelihood-Verhältnis verstanden werden kann und vergleichbar mit der bayesschen Modellkomparierung ist. Wir stellen fest, dass dieser Score unter einer Vielzahl von Datensätzen, Modellen, Modellgrößen und Komplexitätsschätzungen vergleichbar oder sogar besser abschneidet als bestehende Ansätze zur OOD-Erkennung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp