Command Palette
Search for a command to run...
PolyLoss: Eine Polynomiale Erweiterungs-Perspektive von Klassifizierungsverlustfunktionen
PolyLoss: Eine Polynomiale Erweiterungs-Perspektive von Klassifizierungsverlustfunktionen
Zhaoqi Leng Mingxing Tan Chenxi Liu Ekin Dogus Cubuk Xiaojie Shi Shuyang Cheng Dragomir Anguelov
Zusammenfassung
Die Kreuzentropie-Verlustfunktion und die Focal-Loss sind die gängigsten Wahlkriterien beim Training tiefer neuronalen Netze für Klassifikationsaufgaben. Im Allgemeinen kann eine gute Verlustfunktion jedoch viel flexiblere Formen annehmen und sollte je nach Aufgabe und Datensatz angepasst werden. Ausgehend von der Idee, wie Funktionen mittels Taylor-Entwicklung approximiert werden können, schlagen wir einen einfachen Rahmen namens PolyLoss vor, um Verlustfunktionen als lineare Kombination polynomialer Funktionen zu betrachten und zu entwerfen. Die PolyLoss ermöglicht es, die Bedeutung verschiedener polynomialer Basen je nach Aufgabe und Datensatz leicht anzupassen, wobei die oben genannten Kreuzentropie-Verlustfunktion und Focal-Loss als spezielle Fälle natürlicherweise enthalten sind. Umfangreiche experimentelle Ergebnisse zeigen, dass die optimale Wahl innerhalb der PolyLoss tatsächlich von der jeweiligen Aufgabe und dem Datensatz abhängt. Indem lediglich ein zusätzlicher Hyperparameter eingeführt und eine einzige Codezeile hinzugefügt wird, übertrifft unsere Poly-1-Formulierung die Kreuzentropie-Verlustfunktion und die Focal-Loss bei Aufgaben der 2D-Bildklassifikation, Instanzsegmentierung, Objektdetektion und 3D-Objektdetektion, manchmal sogar deutlich.