HyperAIHyperAI

Command Palette

Search for a command to run...

Apprendre à partir du Contexte ou des Noms ? Une Étude Empirique sur l'Extraction Neurale de Relations

Hao Peng Tianyu Gao Xu Han Yankai Lin Peng Li Zhiyuan Liu Maosong Sun Jie Zhou

Résumé

Les modèles neuronaux ont obtenu des succès remarquables sur les benchmarks d’extraction de relations (RE). Toutefois, il n’existe pas de compréhension claire quant aux types d’informations qui influencent les modèles RE existants dans leurs décisions, ni comment améliorer davantage leur performance. A cet effet, nous étudions empiriquement l’impact de deux sources d’information principales présentes dans le texte : le contexte textuel et les mentions d’entités (noms). Nous constatons que (i) bien que le contexte constitue la principale source d’appui pour les prédictions, les modèles RE s’appuient également fortement sur les informations provenant des mentions d’entités, dont la majeure partie est de l’information de type, et (ii) les jeux de données existants pourraient révéler des heuristiques superficielles via les mentions d’entités, contribuant ainsi à la performance élevée observée sur les benchmarks RE. À partir de ces analyses, nous proposons un cadre de pré-entraînement contrastif masqué des entités pour la RE, permettant une compréhension plus approfondie à la fois du contexte textuel et de l’information de type, tout en évitant la mémorisation mécanique des entités ou l’utilisation de signaux superficiels dans les mentions. Nous menons des expériences étendues pour soutenir nos hypothèses, et démontrons que notre cadre améliore l’efficacité et la robustesse des modèles neuronaux dans divers scénarios d’extraction de relations. Tous les codes et jeux de données sont disponibles à l’adresse suivante : https://github.com/thunlp/RE-Context-or-Names.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp