Meta-Weight-Net : Apprendre une Carte d'Association Explicite pour le Poids des Échantillons

Les réseaux neuronaux profonds actuels (DNNs) peuvent facilement surapprendre des données d'entraînement biaisées avec des étiquettes corrompues ou un déséquilibre de classes. La stratégie de réaffectation des échantillons est couramment utilisée pour atténuer ce problème en concevant une fonction de pondération qui mappe la perte d'entraînement au poids de l'échantillon, puis en itérant entre le recalcul des poids et la mise à jour du classificateur. Cependant, les approches actuelles nécessitent une spécification manuelle préalable de la fonction de pondération ainsi que de ses paramètres hyperparamétriques supplémentaires. Cela les rend assez difficiles à appliquer de manière générale en pratique, en raison des variations importantes des schémas de pondération appropriés selon le problème étudié et les données d'entraînement. Pour résoudre cette question, nous proposons une méthode capable d'apprendre directement et de manière adaptative une fonction de pondération explicite à partir des données. La fonction de pondération est un perceptron multicouche (MLP) avec une couche cachée, constituant un approximateur universel pour presque toutes les fonctions continues, ce qui permet à la méthode de s'adapter à un large éventail de fonctions de pondération, y compris celles supposées dans les recherches conventionnelles. Guidée par une petite quantité de métadonnées non biaisées, les paramètres de la fonction de pondération peuvent être finement mis à jour simultanément avec le processus d'apprentissage des classificateurs. Des expériences synthétiques et réelles confirment la capacité de notre méthode à atteindre des fonctions de pondération appropriées dans les cas de déséquilibre de classes et d'étiquettes bruyantes, entièrement conformes aux configurations courantes dans les méthodes traditionnelles, ainsi que dans des scénarios plus complexes dépassant les cas conventionnels. Ceci conduit naturellement à une meilleure précision que celle obtenue par d'autres méthodes d'avant-garde.