Apprentissage de représentation de texte augmenté par structure pour une complétion efficace des graphes de connaissances

Les graphes de connaissances curatifs par des humains fournissent des informations critiques de soutien à diverses tâches de traitement du langage naturel, mais ces graphes sont généralement incomplets, ce qui rend nécessaire leur complétion automatique. Les approches courantes de représentation par embeddings de graphes, telles que TransE, apprennent des connaissances structurées en représentant les éléments du graphe sous forme d’embeddings denses et en capturant leurs relations au niveau des triples à l’aide de distances spatiales. Toutefois, elles se généralisent mal aux éléments jamais rencontrés durant l’apprentissage et sont intrinsèquement vulnérables à l’incomplétude du graphe. À l’inverse, les approches fondées sur le codage textuel, comme KG-BERT, s’appuient sur le texte des triples et sur des représentations contextualisées au niveau des triples. Elles sont suffisamment généralisables et robustes face à l’incomplétude, particulièrement lorsqu’elles sont couplées à des encodeurs pré-entraînés. Deux inconvénients majeurs limitent toutefois leurs performances : (1) un surcroît de coût computationnel dû au calcul coûteux de toutes les triples possibles lors de l’inférence, et (2) un manque de connaissance structurée dans l’encodeur textuel. Dans cet article, nous adoptons le paradigme du codage textuel et visons à atténuer ces défauts en l’enrichissant avec des techniques d’embeddings de graphes — une approche hybride complémentaire des deux paradigmes. Plus précisément, nous partitionnons chaque triple en deux parties asymétriques, comme dans les approches fondées sur la translation dans les embeddings de graphes, puis encodons ces deux parties sous forme de représentations contextualisées à l’aide d’un encodeur textuel de type Siamese. À partir de ces représentations, notre modèle emploie un classificateur déterministe pour l’apprentissage des représentations et une mesure spatiale pour l’apprentissage de la structure. En outre, nous proposons un schéma d’ensemble auto-adaptatif qui améliore davantage les performances en intégrant les scores des triples provenant d’un modèle d’embeddings de graphes existant. Nos expérimentations montrent que nous atteignons un état de l’art sur trois benchmarks et un jeu de données en situation zéro-shot pour la prédiction de liens, avec une réduction de 1 à 2 ordres de grandeur des coûts d’inférence par rapport à une méthode fondée sur le codage textuel.