HyperAIHyperAI

Command Palette

Search for a command to run...

Au-delà de l'attention sur les mots : utilisation de l'attention sur les segments dans l'extraction neurale de relations

Zhen-Yu Zhang Bowen Yu Tingwen Liu Quangang Li Bin Wang Sujian Li

Résumé

Les études sur l'extraction de relations se concentrent sur la prédiction des relations sémantiques entre paires d'entités au sein de phrases. Les mécanismes d'attention sont fréquemment employés dans cette tâche afin de réduire le bruit interne à la phrase en effectuant une sélection douce des mots de manière indépendante. À partir de l'observation selon laquelle les informations pertinentes pour les relations sont généralement contenues dans des segments (suites de mots consécutifs dans une phrase), il devient possible d'exploiter ce phénomène pour améliorer l'extraction. Dans cet article, nous visons à intégrer ces informations de segments dans un extracteur neuronal de relations. Notre approche considère le mécanisme d'attention comme un champ aléatoire conditionnel en chaîne linéaire défini sur un ensemble de variables latentes, dont les arêtes codent la structure souhaitée, et interprète les poids d'attention comme la distribution marginale de chaque mot étant sélectionné comme partie d'une expression relationnelle. Les résultats expérimentaux montrent que notre méthode parvient à focaliser sur des expressions relationnelles continues sans annotation explicite, et atteint des performances de pointe sur le grand jeu de données TACRED.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Au-delà de l'attention sur les mots : utilisation de l'attention sur les segments dans l'extraction neurale de relations | Articles | HyperAI