18日前
Saama Research at MEDIQA 2019: Attention Visualizationを用いた事前学習済みBioBERTによる医療分野向け自然言語推論
{Suriyadeepan Ramamoorthy, Soham Chatterjee, Malaikannan Sankarasubbu, Kamal raj Kanakarajan, Vaidheeswaran Archana}

要約
自然言語推論(Natural Language Inference, NLI)とは、二つの文の間に含まれる関係(含意、矛盾、中立)を識別するタスクである。MedNLIは、臨床分野を対象とした医療分野特化型のNLIデータセットである。本研究では、Transformerの双方向エンコーダ表現(Bidirectional Encoder Representations from Transformers, BERT)を用いてMedNLIを解決する手法の有効性を検討した。提案モデルは、PMCおよびPubMedで事前学習を行い、さらにMIMIC-III v1.4で微調整したBERTを採用しており、MedNLIにおいて最先端の性能(83.45%)を達成した。また、MEDIQAチャレンジにおいても78.5%の精度を記録した。著者らは、BERTをMedNLIで学習させた際に生じた注目機構(attention patterns)の分析を行い、視覚化ツール「bertviz」を用いてその結果を提示している。