2ヶ月前
文脈埋め込みとドメイン知識を融合したモデル重み付けに関するバイオメディカル質問応答
Yuxuan Lu; Jingya Yan; Zhixuan Qi; Zhongzheng Ge; Yongping Du

要約
バイオメディカル質問応答は、与えられた質問からバイオメディカル分野の回答を得ることを目指しています。この分野の深い知識が必要なため、モデルが限られた学習データからドメイン知識を学ぶことは困難です。本研究では、オープンドメインQAモデル(\aoa)とバイオメディカル分野のデータで事前学習された\biobertモデルを組み合わせた文脈埋め込み手法を提案します。大規模なバイオメディカルコーパスでの非監督事前学習と、バイオメディカル質問応答データセットでの監督下微調整を採用しています。さらに、MLPベースのモデル重み付け層を導入し、2つのモデルの利点を自動的に活用して正しい回答を提供するようにしています。PubMedコーパスから構築された公開データセット\biomrcを使用して、提案手法の評価を行いました。実験結果は、提案モデルが最先端システムに対して大幅に優れていることを示しています。