HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de représentation de texte augmenté par structure pour une complétion efficace des graphes de connaissances

Bo Wang Tao Shen Guodong Long Tianyi Zhou Yi Chang

Résumé

Les graphes de connaissances curatifs par des humains fournissent des informations critiques de soutien à diverses tâches de traitement du langage naturel, mais ces graphes sont généralement incomplets, ce qui rend nécessaire leur complétion automatique. Les approches courantes de représentation par embeddings de graphes, telles que TransE, apprennent des connaissances structurées en représentant les éléments du graphe sous forme d’embeddings denses et en capturant leurs relations au niveau des triples à l’aide de distances spatiales. Toutefois, elles se généralisent mal aux éléments jamais rencontrés durant l’apprentissage et sont intrinsèquement vulnérables à l’incomplétude du graphe. À l’inverse, les approches fondées sur le codage textuel, comme KG-BERT, s’appuient sur le texte des triples et sur des représentations contextualisées au niveau des triples. Elles sont suffisamment généralisables et robustes face à l’incomplétude, particulièrement lorsqu’elles sont couplées à des encodeurs pré-entraînés. Deux inconvénients majeurs limitent toutefois leurs performances : (1) un surcroît de coût computationnel dû au calcul coûteux de toutes les triples possibles lors de l’inférence, et (2) un manque de connaissance structurée dans l’encodeur textuel. Dans cet article, nous adoptons le paradigme du codage textuel et visons à atténuer ces défauts en l’enrichissant avec des techniques d’embeddings de graphes — une approche hybride complémentaire des deux paradigmes. Plus précisément, nous partitionnons chaque triple en deux parties asymétriques, comme dans les approches fondées sur la translation dans les embeddings de graphes, puis encodons ces deux parties sous forme de représentations contextualisées à l’aide d’un encodeur textuel de type Siamese. À partir de ces représentations, notre modèle emploie un classificateur déterministe pour l’apprentissage des représentations et une mesure spatiale pour l’apprentissage de la structure. En outre, nous proposons un schéma d’ensemble auto-adaptatif qui améliore davantage les performances en intégrant les scores des triples provenant d’un modèle d’embeddings de graphes existant. Nos expérimentations montrent que nous atteignons un état de l’art sur trois benchmarks et un jeu de données en situation zéro-shot pour la prédiction de liens, avec une réduction de 1 à 2 ordres de grandeur des coûts d’inférence par rapport à une méthode fondée sur le codage textuel.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp