HyperAIHyperAI

Command Palette

Search for a command to run...

L_DMI: Eine Neuere informationstheoretische Verlustfunktion zur Schulung tiefer Netze, die robust gegenüber Etikettierungsrauschen sind

Yilun Xu Yuqing Kong Peng Cao Yizhou Wang

Zusammenfassung

Die genaue Annotation großer Datensätze ist bekanntermaßen sowohl zeitaufwendig als auch kostspielig. Obwohl die Erhebung von Datensätzen mit geringer Annotationstiefe erheblich günstiger ist, verschlechtert sich die Leistung trainierter Modelle häufig erheblich, wenn solche Daten ohne spezielle Behandlung verwendet werden. Verschiedene Methoden wurden für das Lernen mit verrauschten Etiketten vorgeschlagen. Die meisten dieser Ansätze behandeln jedoch nur begrenzte Arten von Rauschmustern, erfordern zusätzliche Informationen oder Schritte (z. B. die Kenntnis oder Schätzung der Rauschübergangsmatrix) oder fehlen einer theoretischen Begründung. In diesem Artikel stellen wir eine neuartige informationstheoretische Verlustfunktion, L_DMI, zur Entwicklung von tiefen neuronalen Netzen vor, die robust gegenüber Etikettierungsrauschen sind. Das Kernstück von L_DMI ist eine verallgemeinerte Form der gegenseitigen Information, die als Determinant-basierte gegenseitige Information (DMI) bezeichnet wird, welche nicht nur informationsmonoton, sondern auch relativ invariant ist. Soweit uns bekannt ist, ist L_DMI die erste Verlustfunktion, die theoretisch beweisbar robust gegenüber instanzunabhängigen Etikettierungsrauschen ist, unabhängig von der Art des Rauschmusters, und sich direkt auf beliebige bestehende Klassifikationsneuronale Netze anwenden lässt, ohne zusätzliche Informationen zu benötigen. Neben einer theoretischen Begründung zeigen wir empirisch, dass die Verwendung von L_DMI bei Klassifikationsaufgaben sowohl auf Bild- als auch auf Sprachdatensätzen – einschließlich Fashion-MNIST, CIFAR-10, Dogs vs. Cats, MR mit einer Vielzahl synthetischer Rauschmuster und Rauschmengen sowie einem realen Datensatz (Clothing1M) – alle anderen Ansätze übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
L_DMI: Eine Neuere informationstheoretische Verlustfunktion zur Schulung tiefer Netze, die robust gegenüber Etikettierungsrauschen sind | Paper | HyperAI