HyperAIHyperAI

Command Palette

Search for a command to run...

PolyLoss : Une perspective par développement polynomial des fonctions de perte de classification

Zhaoqi Leng Mingxing Tan Chenxi Liu Ekin Dogus Cubuk Xiaojie Shi Shuyang Cheng Dragomir Anguelov

Résumé

La perte par entropie croisée et la perte focalisée sont les choix les plus courants lors de l’entraînement de réseaux neuronaux profonds pour des problèmes de classification. Toutefois, en général, une bonne fonction de perte peut adopter des formes bien plus flexibles et doit être adaptée à différentes tâches et ensembles de données. Inspirés par la manière dont les fonctions peuvent être approchées par développement en série de Taylor, nous proposons un cadre simple, nommé PolyLoss, permettant de concevoir et d’analyser les fonctions de perte comme une combinaison linéaire de fonctions polynomiales. PolyLoss permet d’ajuster facilement l’importance des différentes bases polynomiales en fonction de la tâche ou de l’ensemble de données ciblés, tout en incluant naturellement les pertes par entropie croisée et focalisée comme cas particuliers. Des résultats expérimentaux étendus montrent que le choix optimal au sein de PolyLoss dépend effectivement de la tâche et de l’ensemble de données. En introduisant simplement un hyperparamètre supplémentaire et une seule ligne de code, notre formulation Poly-1 surpasse la perte par entropie croisée et la perte focalisée sur des tâches de classification d’images 2D, de segmentation d’instances, de détection d’objets et de détection d’objets 3D, parfois de manière significative.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp