Typage sémantique unifié avec inférence de libellés significatifs

L’étiquetage sémantique vise à classer des tokens ou des segments d’intérêt dans un contexte textuel selon des catégories sémantiques telles que les relations, les types d’entités ou les types d’événements. Les étiquettes inférées appartiennent à ces catégories sémantiques et interprètent de manière significative la manière dont les machines comprennent les composants d’un texte. Dans cet article, nous présentons UniST, un cadre unifié pour l’étiquetage sémantique qui capture la sémantique des étiquettes en projetant à la fois les entrées et les étiquettes dans un espace d’embedding sémantique commun. Pour formuler différentes tâches d’étiquetage lexical et relationnel comme une tâche unifiée, nous intégrons des descriptions de tâches qui sont encodées conjointement avec l’entrée, permettant à UniST d’être adapté à diverses tâches sans introduire de composants spécifiques à chaque tâche. UniST optimise une perte de classement à marge de sorte que la similarité sémantique entre l’entrée et les étiquettes soit reflétée par leur similarité d’embedding. Nos expériences montrent qu’UniST atteint des performances solides sur trois tâches d’étiquetage sémantique : l’étiquetage d’entités, la classification de relations et l’étiquetage d’événements. Par ailleurs, UniST transfère efficacement les connaissances sémantiques des étiquettes et améliore considérablement la généralisation lors de l’inférence de types rares ou inconnus. En outre, plusieurs tâches d’étiquetage sémantique peuvent être entraînées conjointement dans ce cadre unifié, conduisant à un modèle compact multi-tâches unique qui se compare avantageusement aux modèles spécialisés pour une seule tâche, tout en offrant une meilleure capacité de transfert.