GatorTron: Ein großes klinisches Sprachmodell, um Patienteninformationen aus unstrukturierten elektronischen Gesundheitsakten zu entschlüsseln

Es gibt ein wachsendes Interesse an der Entwicklung von Künstlicher Intelligenz (KI)-Systemen zur Verarbeitung und Interpretation elektronischer Gesundheitsakten (EGAs). Die Natural Language Processing (NLP) auf Basis vorge训练的语言模型是医疗AI系统利用临床叙述的关键技术。然而，目前可用的临床语言模型很少，其中最大的一个在临床领域的参数量仅为1.1亿（相比之下，通用领域的模型参数量可达数十亿）。尚不清楚具有数十亿参数的大型临床语言模型如何帮助医疗AI系统利用非结构化的EGAs。在这项研究中，我们从零开始开发了一个大型临床语言模型——GatorTron——使用了超过900亿个单词的文本（包括超过820亿个单词的去标识化临床文本），并系统地对其在5个临床NLP任务上的表现进行了评估，这些任务包括临床概念提取、医学关系提取、语义文本相似性、自然语言推理(NLI)和医学问答(MQA)。我们探讨了（1）增加参数数量和（2）扩大训练数据规模如何有益于这些NLP任务。GatorTron模型将临床语言模型的参数量从1.1亿扩展到89亿，并在5个临床NLP任务上取得了显著改进（例如，在NLI和MQA任务上的准确率分别提高了9.6%和9.5%），这可以应用于医疗AI系统以改善医疗服务提供。GatorTron模型可在以下网址公开获取：https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.请注意，上面的翻译中有一处直接使用了中文词汇“vorge训练”，这是因为原文中的“vorge训”似乎是不完整的术语。正确的德语翻译应该是“vorgeschulten Sprachmodellen”。以下是修正后的版本：Es gibt ein wachsendes Interesse an der Entwicklung von Systemen der Künstlichen Intelligenz (KI), die elektronische Gesundheitsakten (EGAs) verarbeiten und interpretieren können. Die Natural Language Processing (NLP) auf Basis vorgeschulter Sprachmodelle ist die Schlüsseltechnologie für medizinische KI-Systeme, die klinische Narrationen nutzen. Dennoch sind aktuell nur wenige klinische Sprachmodelle verfügbar, wobei das größte dieser Modelle im klinischen Bereich mit 110 Millionen Parametern vergleichsweise klein ist (im Gegensatz zu Modellen im allgemeinen Bereich, die Milliarden von Parametern haben). Es ist noch nicht klar, wie große klinische Sprachmodelle mit Milliarden von Parametern medizinischen KI-Systemen helfen können, unstrukturierte EGAs zu nutzen. In dieser Studie entwickeln wir ein großes klinisches Sprachmodell – GatorTron – von Grund auf neu unter Verwendung von mehr als 90 Milliarden Textwörtern (darunter mehr als 82 Milliarden Wörtern deidentifizierter klinischer Texte) und evaluieren es systematisch anhand von fünf klinischen NLP-Aufgaben, darunter der Extraktion klinischer Konzepte, der Extraktion medizinischer Beziehungen, semantischer Textähnlichkeit, natürlicher Sprachinferenz (NLI) und medizinischer Fragebeantwortung (MQA). Wir untersuchen, wie sich (1) das Erhöhen der Anzahl der Parameter und (2) das Erweitern des Umfangs der Trainingsdaten auf diese NLP-Aufgaben auswirken kann. Die GatorTron-Modelle skalieren das klinische Sprachmodell von 110 Millionen auf 8,9 Milliarden Parameter und verbessern fünf klinische NLP-Aufgaben signifikant (z.B. eine Genauigkeitssteigerung um 9,6 % und 9,5 % bei den Aufgaben NLI und MQA), was in medizinischen KI-Systemen angewendet werden kann, um die Versorgung mit medizinischen Dienstleistungen zu verbessern. Die GatorTron-Modelle sind öffentlich zugänglich unter: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.