Échantillonnage dynamique efficace de négatifs durs pour la sélection de dialogues

Des études récentes ont démontré des améliorations significatives dans les tâches de sélection, une partie importante de ces progrès étant attribuée à l’intégration d’échantillons négatifs informatifs durant l’entraînement. Bien que les méthodes traditionnelles de construction d’échantillons négatifs difficiles fournissent une supervision pertinente, elles reposent sur des échantillons statiques qui ne s’adaptent pas au cours de l’entraînement, entraînant ainsi des performances sous-optimales. L’échantillonnage dynamique de négatifs difficiles remédie à cette limitation en s’adaptant continuellement à l’évolution de l’état du modèle au fil de l’entraînement. Toutefois, les exigences computationnelles élevées de cette approche limitent son application à certaines architectures de modèles. Pour surmonter ces défis, nous introduisons une méthode efficace d’échantillonnage dynamique de négatifs difficiles (EDHNS). L’EDHNS améliore l’efficacité en pré-filtrant les négatifs facilement discriminables, réduisant ainsi le nombre de candidats que le modèle doit évaluer durant l’entraînement. En outre, elle exclut les paires question-candidat pour lesquelles le modèle affiche déjà un haut niveau de confiance de la computation de la perte, réduisant ainsi davantage le temps d’entraînement. Ces stratégies préservent la qualité d’apprentissage tout en minimisant la charge computationnelle et en simplifiant le processus d’entraînement. Des expériences étendues sur les benchmarks DSTC9, DSTC10, Ubuntu et E-commerce montrent que l’EDHNS surpasse significativement les modèles de base, prouvant son efficacité dans les tâches de sélection de dialogues.