Command Palette
Search for a command to run...
PolyLoss : Une perspective par développement polynomial des fonctions de perte de classification
PolyLoss : Une perspective par développement polynomial des fonctions de perte de classification
Zhaoqi Leng Mingxing Tan Chenxi Liu Ekin Dogus Cubuk Xiaojie Shi Shuyang Cheng Dragomir Anguelov
Résumé
La perte par entropie croisée et la perte focalisée sont les choix les plus courants lors de l’entraînement de réseaux neuronaux profonds pour des problèmes de classification. Toutefois, en général, une bonne fonction de perte peut adopter des formes bien plus flexibles et doit être adaptée à différentes tâches et ensembles de données. Inspirés par la manière dont les fonctions peuvent être approchées par développement en série de Taylor, nous proposons un cadre simple, nommé PolyLoss, permettant de concevoir et d’analyser les fonctions de perte comme une combinaison linéaire de fonctions polynomiales. PolyLoss permet d’ajuster facilement l’importance des différentes bases polynomiales en fonction de la tâche ou de l’ensemble de données ciblés, tout en incluant naturellement les pertes par entropie croisée et focalisée comme cas particuliers. Des résultats expérimentaux étendus montrent que le choix optimal au sein de PolyLoss dépend effectivement de la tâche et de l’ensemble de données. En introduisant simplement un hyperparamètre supplémentaire et une seule ligne de code, notre formulation Poly-1 surpasse la perte par entropie croisée et la perte focalisée sur des tâches de classification d’images 2D, de segmentation d’instances, de détection d’objets et de détection d’objets 3D, parfois de manière significative.