HyperAIHyperAI

Command Palette

Search for a command to run...

Les Modèles Pré-entraînés Profitent-ils à la Complétion des Graphes de Connaissances ? Une Évaluation Fiable et une Approche Raisonnée

Anonymous

Résumé

Ces dernières années, les modèles de langage pré-entraînés (PLM) se sont révélés capables de capturer des connaissances factuelles à partir de grands volumes de textes, ce qui a encouragé le développement de modèles de complétion de graphes de connaissances (KGC) basés sur les PLM. Toutefois, ces modèles peinent encore à atteindre les performances des modèles de pointe (SOTA) en KGC. Dans ce travail, nous identifions deux principales causes de cette faible performance : (1) un cadre d’évaluation inexact. Le cadre d’évaluation fondé sur l’hypothèse du monde fermé (CWA) pourrait sous-estimer les modèles KGC basés sur les PLM, car ceux-ci intègrent davantage de connaissances externes ; (2) une utilisation inappropriée des PLM. La plupart des modèles KGC basés sur les PLM concatènent simplement les étiquettes des entités et des relations en entrée, ce qui produit des phrases incohérentes et ne permet pas d’exploiter pleinement les connaissances implicites intégrées dans les PLM. Pour atténuer ces problèmes, nous proposons un cadre d’évaluation plus précis fondé sur l’hypothèse du monde ouvert (OWA), qui inclut un contrôle manuel de la validité des connaissances non présentes dans les graphes de connaissances. En outre, inspirés par la technique de prompt tuning, nous introduisons un nouveau modèle KGC basé sur les PLM, nommé PKGC. L’idée fondamentale consiste à transformer chaque triplet ainsi que ses informations de soutien en phrases naturelles sous forme de prompt, qui sont ensuite soumises aux PLM pour une classification. Les résultats expérimentaux sur deux jeux de données KGC montrent que l’OWA est plus fiable pour l’évaluation de la KGC, en particulier pour la prédiction de liens, et démontrent l’efficacité de notre modèle PKGC dans les deux cadres, CWA et OWA.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Les Modèles Pré-entraînés Profitent-ils à la Complétion des Graphes de Connaissances ? Une Évaluation Fiable et une Approche Raisonnée | Articles | HyperAI