HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de Pooling Attentif

Cicero dos Santos; Ming Tan; Bing Xiang; Bowen Zhou

Résumé

Dans cette étude, nous proposons le mécanisme d'Attentive Pooling (AP), une méthode d'attention bidirectionnelle pour l'entraînement de modèles discriminants. Dans le contexte du classement ou de la classification par paires à l'aide de réseaux neuronaux, AP permet au couche de regroupement (pooling layer) d'être conscient du couple d'entrées actuel, de telle sorte que les informations des deux éléments d'entrée puissent influencer directement le calcul de leurs représentations respectives. En compagnie de ces représentations des entrées par paires, AP apprend conjointement une mesure de similarité sur les segments projetés (par exemple, trigrammes) du couple, et dérive ensuite le vecteur d'attention correspondant pour chaque entrée afin de guider le regroupement. Notre mécanisme d'attention bidirectionnelle est un cadre général indépendant de l'apprentissage sous-jacent des représentations, et il a été appliqué aux réseaux neuronaux convolutifs (CNNs) et aux réseaux neuronaux récurrents (RNNs) dans nos recherches. Les résultats empiriques issus de trois tâches基准任务(benchmark tasks)de référence très différentes en matière de réponse à des questions/sélection de réponses montrent que nos modèles proposés surpassent une variété de baselines performantes et atteignent des performances d'état de l'art dans tous les benchmarks.注:在翻译“benchmark tasks”时,我选择了“tâches de référence”以更好地符合法语文献中的常用表达。如果你希望保留“基准任务”的直译,可以将其翻译为“tâches基准任务”。不过,为了保持译文的流畅性和专业性,建议使用“tâches de référence”。


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp