Modélisation des types d'entités à un niveau fin avec des embeddings en boîte

Les modèles d’identification des entités neuronaux représentent généralement les types d’entités fins sous forme de vecteurs dans un espace à haute dimension, mais de tels espaces ne sont pas bien adaptés à la modélisation des dépendances complexes entre ces types. Nous étudions la capacité des embeddings par boîtes, qui représentent les concepts sous forme de hyperrectangles à d dimensions, à capturer des hiérarchies de types même lorsque ces relations ne sont pas explicitement définies dans l’ontologie. Notre modèle représente à la fois les types et les mentions d’entités sous forme de boîtes. Chaque mention et son contexte sont introduits dans un modèle basé sur BERT afin d’encoder cette mention dans notre espace de boîtes ; en substance, ce modèle exploite les indices typologiques présents dans le texte surface pour inférer une représentation de type pour la mention. La relation d’inclusion entre boîtes peut ensuite être utilisée pour déduire à la fois la probabilité a posteriori qu’une mention présente un type donné, ainsi que les relations de probabilité conditionnelle entre les types eux-mêmes. Nous comparons notre approche à un modèle basé sur des vecteurs et observons des performances de pointe sur plusieurs benchmarks d’identification d’entités. En plus d’une performance compétitive en identification, notre modèle basé sur les boîtes montre une meilleure cohérence dans les prédictions (prédire simultanément un type supérieur et un type inférieur) ainsi qu’une meilleure confiance (c’est-à-dire une meilleure calibration), ce qui démontre que le modèle basé sur les boîtes capture de manière plus efficace les hiérarchies de types latentes que le modèle basé sur des vecteurs.