Contextual embedding et pondération des modèles en fusionnant les connaissances du domaine dans le cadre de la réponse aux questions biomédicales

Le domaine de la réponse aux questions biomédicales vise à obtenir une réponse à une question donnée dans le domaine biomédical. En raison des exigences élevées en matière de connaissances spécifiques à ce domaine, il est difficile pour un modèle d'acquérir ces connaissances à partir de données d'entraînement limitées. Nous proposons une méthode d'embedding contextuel qui combine un modèle de réponse aux questions (QA) ouvert \aoa et un modèle \biobert pré-entraîné sur des données du domaine biomédical. Nous utilisons un pré-entraînement non supervisé sur un grand corpus biomédical et un entraînement supervisé affiné sur un ensemble de données de réponse aux questions biomédicales. De plus, nous intégrons une couche de pondération basée sur un perceptron multicouche (MLP) pour exploiter automatiquement les avantages des deux modèles afin de fournir la réponse correcte. Le jeu de données public \biomrc, construit à partir du corpus PubMed, est utilisé pour évaluer notre méthode. Les résultats expérimentaux montrent que notre modèle surpass largement les systèmes d'avant-garde actuels.