HyperAIHyperAI

Command Palette

Search for a command to run...

PolyLoss: Eine Polynomiale Erweiterungs-Perspektive von Klassifizierungsverlustfunktionen

Zhaoqi Leng Mingxing Tan Chenxi Liu Ekin Dogus Cubuk Xiaojie Shi Shuyang Cheng Dragomir Anguelov

Zusammenfassung

Die Kreuzentropie-Verlustfunktion und die Focal-Loss sind die gängigsten Wahlkriterien beim Training tiefer neuronalen Netze für Klassifikationsaufgaben. Im Allgemeinen kann eine gute Verlustfunktion jedoch viel flexiblere Formen annehmen und sollte je nach Aufgabe und Datensatz angepasst werden. Ausgehend von der Idee, wie Funktionen mittels Taylor-Entwicklung approximiert werden können, schlagen wir einen einfachen Rahmen namens PolyLoss vor, um Verlustfunktionen als lineare Kombination polynomialer Funktionen zu betrachten und zu entwerfen. Die PolyLoss ermöglicht es, die Bedeutung verschiedener polynomialer Basen je nach Aufgabe und Datensatz leicht anzupassen, wobei die oben genannten Kreuzentropie-Verlustfunktion und Focal-Loss als spezielle Fälle natürlicherweise enthalten sind. Umfangreiche experimentelle Ergebnisse zeigen, dass die optimale Wahl innerhalb der PolyLoss tatsächlich von der jeweiligen Aufgabe und dem Datensatz abhängt. Indem lediglich ein zusätzlicher Hyperparameter eingeführt und eine einzige Codezeile hinzugefügt wird, übertrifft unsere Poly-1-Formulierung die Kreuzentropie-Verlustfunktion und die Focal-Loss bei Aufgaben der 2D-Bildklassifikation, Instanzsegmentierung, Objektdetektion und 3D-Objektdetektion, manchmal sogar deutlich.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp