GatorTron: 大規模な臨床言語モデルによる非構造化電子健康記録からの患者情報の解錠

人工知能（AI）システムを用いて電子健康記録（EHR）の処理や解釈を行うことに、近年ますます関心が高まっています。臨床記述を活用する医療AIシステムにおいて、事前学習言語モデルによって支えられる自然言語処理（NLP）が主要な技術となっています。しかし、臨床専門の言語モデルは少ない上、最大のものでも1億1000万パラメータと、一般分野で数十億パラメータを持つモデルと比較すると規模が小さいのが現状です。数十億パラメータを持つ大規模な臨床言語モデルが非構造化EHRの利用にどのように貢献できるかは明確ではありません。本研究では、900億件以上のテキスト（うち820億件以上が匿名化された臨床テキスト）を使用して、大規模な臨床言語モデル「GatorTron」を開発し、5つの臨床NLPタスク（臨床概念抽出、医療関係抽出、意味的類似性評価、自然言語推論【NLI】、医療質問応答【MQA】）について系統的に評価を行いました。私たちは(1) パラメータ数の増加と (2) 学習データ量の拡大がこれらのNLPタスクにどのような影響を与えるかを検討しました。GatorTronモデルは、臨床言語モデルのパラメータ数を1億1000万から8億9000万まで拡大し、5つの临床上のNLPタスクにおける精度を向上させました（例：NLIとMQAでそれぞれ9.6%および9.5%の精度向上）。これにより医療AIシステムを通じて医療提供の改善に寄与することが期待されます。GatorTronモデルは公開されており、以下のURLからアクセスできます：https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og。