HyperAIHyperAI
il y a 17 jours

BioNLI : Génération d’un jeu de données NLI biomédical en utilisant des contraintes lexicosemantiques pour des exemples adverses

Mohaddeseh Bastan, Mihai Surdeanu, Niranjan Balasubramanian
BioNLI : Génération d’un jeu de données NLI biomédical en utilisant des contraintes lexicosemantiques pour des exemples adverses
Résumé

L’inférence sur le langage naturel (NLI) est essentielle pour la prise de décision complexe dans le domaine biomédical. Une question clé, par exemple, consiste à déterminer si un mécanisme biomédical donné est soutenu par des preuves expérimentales. Ce problème peut être formulé comme une tâche d’inférence sur le langage naturel, mais aucun jeu de données directement utilisable n’est actuellement disponible pour répondre à cette question. Le principal défi réside dans le fait que la création manuelle d’exemples négatifs informatifs pour cette tâche est difficile et coûteuse. Nous proposons une nouvelle procédure semi-supervisée qui construit itérativement un jeu de données NLI à partir de jeux de données biomédicaux existants, qui associent des mécanismes à des preuves expérimentales extraites des résumés. Nous générons une variété d’exemples négatifs à l’aide de neuf stratégies, qui modifient la structure des mécanismes sous-jacents, tant par des règles (par exemple, l’inversion des rôles des entités dans une interaction), que, de façon plus significative, par des perturbations fondées sur des contraintes logiques dans un système de décodage neuro-logique. Grâce à cette procédure, nous créons un nouveau jeu de données pour l’inférence sur le langage naturel dans le domaine biomédical, appelé BioNLI, et évaluons deux classificateurs biomédicaux de pointe. Le meilleur résultat obtenu se situe autour du milieu des années 70 en F1, ce qui souligne la difficulté de la tâche. De manière cruciale, les performances varient considérablement selon les catégories d’exemples négatifs : elles atteignent 97 % de F1 pour les exemples négatifs simples basés sur un changement de rôle, mais sont à peine meilleures que le hasard pour les exemples négatifs générés via le décodage neuro-logique.