HyperAIHyperAI

Command Palette

Search for a command to run...

Label-Retrieval-Augmented Diffusion Models zur Lernung aus verrauschten Labels

Jian Chen Ruiyi Zhang Tong Yu Rohan Sharma Zhiqiang Xu Tong Sun Changyou Chen

Zusammenfassung

Das Lernen aus verrauschten Etiketten ist ein zentrales und lang bestehendes Problem im maschinellen Lernen für reale Anwendungen. Eine der Hauptforschungsrichtungen konzentriert sich auf das Lernen eines Etikettenskorrekturmodells, um potenziell verrauschte Etiketten zu reinigen. Diese Ansätze basieren jedoch typischerweise auf strengen Annahmen und sind auf bestimmte Arten von Etikettenrauschen beschränkt. In diesem Paper reformulieren wir das Problem des Etikettenrauschens aus einer generativen Modellperspektive, d. h., Etiketten werden durch schrittweise Verfeinerung einer anfänglichen zufälligen Schätzung generiert. Diese neue Perspektive ermöglicht es unmittelbar, bestehende leistungsfähige Diffusionsmodelle nahtlos zum Lernen des stochastischen Generierungsprozesses einzusetzen. Sobald die generative Unsicherheit modelliert ist, können wir zur Klassifikationsinferenz die Maximum-Likelihood-Schätzung der Etiketten verwenden. Um die Auswirkungen verrauschter Etiketten zu mildern, schlagen wir das Label-Retrieval-Augmented (LRA)-Diffusionsmodell vor, das die Nachbarschaftskonsistenz nutzt, um effektiv pseudo-reine Etiketten für den Trainingsprozess der Diffusion zu konstruieren. Unser Modell ist flexibel und allgemein einsetzbar und erlaubt die einfache Integration verschiedener Arten von bedingter Information, beispielsweise die Nutzung vortrainierter Modelle, um die Modellleistung weiter zu steigern. Umfassende Experimente werden durchgeführt, um die Leistung zu evaluieren. Unser Modell erreicht auf allen Standard-Benchmark-Datensätzen für reale Anwendungen neue State-of-the-Art (SOTA)-Ergebnisse. Besonders bemerkenswert ist, dass die Integration bedingter Information aus dem leistungsfähigen CLIP-Modell in vielen Fällen die aktuelle SOTA-Genauigkeit um 10 bis 20 absolute Punkte steigert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp