PubMedQA：バイオメディカル研究における質問応答のためのデータセット

我々は、PubMedの要約から収集された新しいバイオメディカル質問応答（QA）データセット「PubMedQA」を紹介する。PubMedQAのタスクは、対応する要約を用いて、yes/no/maybe（例：冠動脈バイパス手術後の心房細動を術前スタチンが減少させるか？）という形式で研究課題に答えることである。PubMedQAには、1,000件の専門家がアノテーションしたデータ、61,200件のラベルなしデータ、および211,300件の人工的に生成されたQAインスタンスが含まれている。各PubMedQAインスタンスは以下の4つの要素から構成される：（1）既存の研究論文のタイトルまたはその派生である質問、（2）結論を除いた対応する要約（コンテキスト）、（3）要約の結論部分に相当する長文の答え（long answer）、および（4）結論を要約したyes/no/maybe形式の答え。PubMedQAは、特に定量的情報を含むバイオメディカル研究テキストの推論を要する初めてのQAデータセットである。本研究で得られた最良のモデルは、長文の答えに対するbag-of-words統計を追加の教師信号として用いたBioBERTの多段階ファインチューニングであり、68.1%の正解率を達成した。これは、単一の人的正解率（78.0%）および多数派ベースライン（55.2%）と比較して、まだ大幅な改善の余地があることを示している。PubMedQAは、https://pubmedqa.github.io にて公開されている。