DeepType : Liaison d'entités multilingues par évolution du système de types neuronal

La richesse des données structurées (par exemple, Wikidata) et non structurées disponibles aujourd'hui offre une opportunité incroyable pour l'Intelligence Artificielle de demain. Jusqu'à présent, l'intégration de ces deux modalités différentes est un processus difficile, impliquant de nombreuses décisions concernant la meilleure façon de représenter les informations afin qu'elles soient capturées ou utiles, ainsi que l'étiquetage manuel d'une grande quantité de données. DeepType surmonte ce défi en intégrant explicitement les informations symboliques dans le processus de raisonnement d'un réseau neuronal grâce à un système de types. Premièrement, nous construisons un système de types, et deuxièmement, nous l'utilisons pour contraindre les sorties du réseau neuronal à respecter la structure symbolique. Nous réalisons cela en reformulant le problème de conception comme un problème mixte entier : créer un système de types puis entraîner un réseau neuronal avec celui-ci. Dans cette reformulation, les variables discrètes sélectionnent les relations parent-enfant d'une ontologie qui seront des types au sein du système de types, tandis que les variables continues contrôlent un classifieur ajusté au système de types. Le problème original ne peut pas être résolu exactement, nous proposons donc un algorithme en deux étapes : 1) recherche heuristique ou optimisation stochastique sur les variables discrètes qui définissent un système de types guidé par une Oracle et une heuristique d'apprentissabilité, 2) descente de gradient pour ajuster les paramètres du classifieur. Nous appliquons DeepType au problème du Liage d'Entités sur trois jeux de données standards (c'est-à-dire WikiDisamb30, CoNLL (YAGO), TAC KBP 2010) et constatons qu'il surpass largement toutes les solutions existantes, y compris celles qui reposent sur un système de types conçu par des humains ou sur des plongements d'entités basés sur l'apprentissage profond récents, tout en utilisant explicitement des informations symboliques lui permettant d'intégrer de nouvelles entités sans réentraînement.