HyperAIHyperAI

Command Palette

Search for a command to run...

Vers des Modèles Fondamentaux pour le Raisonnement sur les Graphes de Connaissances

Mikhail Galkin Xinyu Yuan Hesham Mostafa Jian Tang Zhaocheng Zhu

Résumé

Les modèles fondamentaux en traitement du langage et en vision par ordinateur possèdent la capacité d’effectuer des inférences sur tout type d’entrée textuelle ou visuelle grâce à des représentations transférables, telles que le vocabulaire de tokens en langage naturel. Les graphes de connaissances (KG, Knowledge Graphs) disposent quant à eux de vocabulaires d’entités et de relations qui ne se chevauchent généralement pas. Le défi central dans la conception de modèles fondamentaux pour les KG réside dans l’apprentissage de représentations transférables capables d’assurer l’inférence sur tout graphe, quel que soit son vocabulaire d’entités et de relations. Dans ce travail, nous franchissons une étape vers de tels modèles fondamentaux en proposant ULTRA, une méthode d’apprentissage de représentations graphiques universelles et transférables. ULTRA construit des représentations relationnelles comme une fonction conditionnée par leurs interactions. Cette stratégie de conditionnement permet à un modèle ULTRA pré-entraîné de généraliser inductivement à tout graphe inconnu, quel que soit son vocabulaire de relations, et d’être affiné sur n’importe quel graphe. À l’aide d’expériences de prédiction de liens sur 57 graphes de connaissances différents, nous observons que la performance d’inférence zéro-shot inductive d’un seul modèle ULTRA pré-entraîné sur des graphes inconnus de tailles variées est souvent équivalente ou supérieure à celle de modèles de référence forts entraînés spécifiquement sur des graphes particuliers. L’affinement ultérieur permet encore d’améliorer significativement les performances.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp