HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de Correspondance Bruyante avec Atténuation d'Erreurs Auto-Reinforcées

Zhuohang Dang Minnan Luo Chengyou Jia Guang Dai Xiaojun Chang Jingdong Wang

Résumé

La recherche intermodale repose sur des ensembles de données à grande échelle bien appariés, qui sont fastidieux à constituer en pratique. Récemment, pour alléger la collecte coûteuse de données, des paires co-occurent automatiquement extraites d'Internet sont utilisées pour l'entraînement. Cependant, cela inclut inévitablement des paires mal appariées, c'est-à-dire des correspondances bruyantes, compromettant la fiabilité de la supervision et dégradant les performances. Les méthodes actuelles exploitent l'effet de mémorisation des réseaux neuronaux profonds pour traiter les correspondances bruyantes, se concentrant excessivement sur l'entraînement guidé par la similarité avec des négatifs difficiles (hard negatives) et subissant ainsi des erreurs auto-renforçantes. À cet égard, nous introduisons un nouveau cadre d'apprentissage de correspondances bruyantes, nommé Mitigation des Erreurs Auto-Renforçantes (SREM). Plus précisément, en considérant le couplage d'échantillons comme des tâches de classification au sein du batch, nous générons des logits de classification pour l'échantillon donné. Au lieu d'un simple score de similarité, nous affinons le filtrage des échantillons grâce à l'incertitude énergétique et estimons la sensibilité du modèle aux échantillons propres sélectionnés en utilisant l'entropie de classification permutée, en tenant compte de la distribution globale des prédictions. De plus, nous proposons un apprentissage complémentaire biaisé intermodal pour exploiter les non-correspondances négligées lors de l'entraînement avec des négatifs difficiles, ce qui améliore encore la stabilité de l'optimisation du modèle et limite les erreurs auto-renforçantes. Des expériences approfondies sur des benchmarks difficiles confirment l'efficacité et l'efficience de SREM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage de Correspondance Bruyante avec Atténuation d'Erreurs Auto-Reinforcées | Articles | HyperAI