HyperAIHyperAI

Command Palette

Search for a command to run...

Das Training von unverzerrten Teilnetzen durch kontrastives Gewichtstrimming

Geon Yeong Park Sangmin Lee Sang Wan Lee Jong Chul Ye

Zusammenfassung

Neuronale Netze sind oft voreingenommen gegenüber spurios korrelierten Merkmalen, die irreführende statistische Beweise liefern, die sich nicht verallgemeinern lassen. Dies wirft eine interessante Frage auf: „Existiert in einem stark voreingenommenen Netzwerk ein optimaler, voreingenommenkeitsfreier funktioneller Teilnetzwerks? Wenn ja, wie kann man solche Teilnetzwerke extrahieren?“ Während empirische Beweise über die Existenz solcher voreingenommenkeitsfreien Teilnetzwerke gesammelt wurden, basieren diese Beobachtungen hauptsächlich auf der Anleitung durch ground-truth voreingenommenkeitsfreie Stichproben. Daher ist es bisher unerforscht, wie man in der Praxis optimale Teilnetzwerke mit voreingenommenen Trainingsdatensätzen entdecken kann. Um dies zu beheben, präsentieren wir hier zunächst unsere theoretischen Erkenntnisse, die potenzielle Einschränkungen bestehender Algorithmen bei der Exploration von voreingenommenkeitsfreien Teilnetzwerken in Anwesenheit starker spurioser Korrelationen aufzeigen. Wir beleuchten dann weiterhin die Bedeutung von bias-conflicting Stichproben für das Strukturlernen. Angeregt durch diese Beobachtungen schlagen wir den Debiased Contrastive Weight Pruning (DCWP) Algorithmus vor, der voreingenommenkeitsfreie Teilnetzwerke ohne teure Gruppenannotierungen untersucht. Experimentelle Ergebnisse zeigen, dass unser Ansatz trotz einer erheblichen Reduktion der Parameterzahl deutlich besser abschneidet als der Stand der Technik in Debiasing-Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Das Training von unverzerrten Teilnetzen durch kontrastives Gewichtstrimming | Paper | HyperAI