HyperAIHyperAI

Command Palette

Search for a command to run...

Saama Research at MEDIQA 2019: Attention Visualizationを用いた事前学習済みBioBERTによる医療分野向け自然言語推論

Suriyadeepan Ramamoorthy Soham Chatterjee Malaikannan Sankarasubbu Kamal raj Kanakarajan Vaidheeswaran Archana

概要

自然言語推論(Natural Language Inference, NLI)とは、二つの文の間に含まれる関係(含意、矛盾、中立)を識別するタスクである。MedNLIは、臨床分野を対象とした医療分野特化型のNLIデータセットである。本研究では、Transformerの双方向エンコーダ表現(Bidirectional Encoder Representations from Transformers, BERT)を用いてMedNLIを解決する手法の有効性を検討した。提案モデルは、PMCおよびPubMedで事前学習を行い、さらにMIMIC-III v1.4で微調整したBERTを採用しており、MedNLIにおいて最先端の性能(83.45%)を達成した。また、MEDIQAチャレンジにおいても78.5%の精度を記録した。著者らは、BERTをMedNLIで学習させた際に生じた注目機構(attention patterns)の分析を行い、視覚化ツール「bertviz」を用いてその結果を提示している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています