FrenchMedMCQA: Ein französisches Multiple-Choice-Frage-Antwort-Dataset für den medizinischen Bereich

Diese Arbeit stellt FrenchMedMCQA vor, die erste öffentlich verfügbare Multiple-Choice-Frage-Antwort-(MCQA)-Datensammlung auf Französisch für den medizinischen Bereich. Sie besteht aus 3.105 Fragen, die aus echten Prüfungen für die französische Facharztdiplomprüfung in Pharmazie stammen und sowohl Einzel- als auch Mehrfachantworten enthalten. Jeder Datensatz enthält einen Identifikator, eine Frage, fünf mögliche Antworten sowie deren manuelle Korrekturen. Außerdem werden erste Baseline-Modelle vorgestellt, um diese MCQA-Aufgabe automatisiert zu bearbeiten, um derzeitige Leistungsstände zu dokumentieren und die Schwierigkeit der Aufgabe zu verdeutlichen. Eine detaillierte Analyse der Ergebnisse zeigte, dass spezialisierteren medizinischen oder MCQA-adaptierten Darstellungen Bedarf besteht: In unserem Fall erzielten englischsprachige Spezialmodelle bessere Ergebnisse als allgemeine französische Modelle, obwohl FrenchMedMCQA auf Französisch ist. Korpus, Modelle und Tools sind online verfügbar.