Cet article présente FrenchMedMCQA, le premier ensemble de données publiquement disponible en français dédié à la résolution de questions à choix multiples (MCQA) dans le domaine médical. Il se compose de 3 105 questions issues d’examens réels du diplôme de spécialisation pharmaceutique français, incluant à la fois des questions à réponse unique et à réponses multiples. Chaque instance de l’ensemble de données contient un identifiant, une question, cinq réponses possibles et leur correction manuelle. Nous proposons également des modèles de base afin de traiter automatiquement cette tâche MCQA, dans le but de mesurer les performances actuelles et de mettre en évidence la difficulté du défi. Une analyse détaillée des résultats révèle la nécessité d’utiliser des représentations adaptées au domaine médical ou à la tâche MCQA : dans notre cas, les modèles spécialisés en anglais ont obtenu de meilleurs résultats que les modèles génériques en français, malgré le fait que FrenchMedMCQA soit en français. Le corpus, les modèles et les outils sont disponibles en ligne.