HyperAIHyperAI

Command Palette

Search for a command to run...

Non signifie non ; une approche de modélisation non-impropre, intégrant un contexte spéculatif

Amit Gautam Akshayraj M Priya Tiwary

Résumé

Motivation : Les données médicales sont intrinsèquement complexes, les termes apparaissant dans les dossiers cliniques étant souvent utilisés dans des contextes variés. Dans ce travail, nous étudions la capacité de différents modèles biomédicaux (BioBERT, BioELECTRA, PubMedBERT) à comprendre les contextes de négation et de spéculation. Nous constatons que ces modèles peinent à distinguer clairement les contextes négatifs des contextes non négatifs. Pour évaluer leur compréhension, nous avons utilisé des scores de similarité cosinus entre les embeddings de phrases négatives et celles de phrases non négatives. Afin d’améliorer ces modèles, nous proposons une méthode générique de sur-ajustement (super-tuning) pour renforcer leurs embeddings dans les contextes de négation et de spéculation, en exploitant un jeu de données synthétisé.Résultats : Après le sur-ajustement, les embeddings des modèles montrent une meilleure compréhension des contextes négatifs et spéculatifs. En outre, en fin-tunant les modèles sur plusieurs tâches, nous constatons qu’ils surpassent les modèles précédents et atteignent l’état de l’art (SOTA) pour les tâches de détection de négation, de repérage des indices de spéculation et de délimitation de portée sur les abstracts BioScope et le jeu de données Sherlock. Nous avons également confirmé que notre approche entraîne un très faible compromis en termes de performance sur d’autres tâches, telles que l’inférence de langage naturel, après le sur-ajustement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp