LLM-basierte Abschnittsidentifikatoren leisten gute Arbeit bei Open-Source-Projekten, stolpern aber in realen Anwendungen.

Elektronische Gesundheitsakten (EHR) stellen zwar eine große Hilfe für medizinisches Personal dar, werden jedoch täglich komplexer und länger. Die Durchforstung dieser umfangreichen EHRs ist anstrengend und wird zu einem belastenden Element der Arzt-Patienten-Interaktion. Es wurden verschiedene Ansätze vorgeschlagen, um dieses weit verbreitete Problem durch Zusammenfassung oder Aufteilung zu lindern, jedoch haben sich bisher nur wenige Ansätze als wirklich hilfreich erwiesen. Mit dem Aufkommen automatisierter Methoden hat maschinelles Lernen (ML) das Potenzial gezeigt, die Aufgabe der Identifizierung relevanter Abschnitte in EHR zu lösen. Die meisten ML-Methoden basieren jedoch auf etikettierten Daten, die im Gesundheitswesen schwer zu beschaffen sind. Große Sprachmodelle (LLMs) hingegen haben in der Verarbeitung natürlicher Sprache (NLP) beeindruckende Leistungen erbracht, und zwar auch in einer zero-shot-Situation, d.h. ohne etikettierte Daten. In diesem Kontext schlagen wir vor, LLMs zur Identifizierung relevanter Abschnittstitel einzusetzen. Wir stellen fest, dass GPT-4 die Aufgabe sowohl in zero-shot- als auch in few-shot-Einstellungen effektiv lösen kann und dabei deutlich besser abschneidet als die bislang besten Methoden. Darüber hinaus haben wir einen viel schwierigeren Datensatz aus der Praxis annotiert und festgestellt, dass GPT-4 Schwierigkeiten hat, gut abzuschneiden, was auf die Notwendigkeit weiterer Forschung und anspruchsvollerer Benchmarks hinweist.