MedMobile: Ein mobil optimiertes Sprachmodell mit Experten-Niveau klinischer Fähigkeiten

Sprachmodelle (LMs) haben in der Medizin Expertenwissen im Bereich der Schlussfolgerung und Wiedergabe von Informationen demonstriert. Dennoch stellen steigende Rechenkosten und Datenschutzbedenken zunehmend erhebliche Hürden für eine breite Implementierung dar. Wir stellen eine sparsame Anpassung von phi-3-mini, namens MedMobile, vor – ein Sprachmodell mit 3,8 Milliarden Parametern, das auf mobilen Geräten betrieben werden kann, und zwar für medizinische Anwendungen. Wir zeigen, dass MedMobile eine Leistung von 75,7 % im MedQA-Test (USMLE) erzielt, was die Bestehensgrenze für Ärzte (~60 %) übertrifft und sich den Ergebnissen von Modellen annähert, die hundertmal größer sind. Anschließend führen wir eine sorgfältige Reihe von Ablationsstudien durch und zeigen, dass die Ketten-des-Denkens (chain of thought), Ensembling und Fine-Tuning die größten Leistungssteigerungen bewirken, während überraschenderweise die Retrieval-augmentierte Generierung (Retrieval-Augmented Generation) keine signifikanten Verbesserungen zeigt.