Nous présentons SimpleQA, un benchmark destiné à évaluer la capacité des modèles linguistiques à répondre à des questions courtes et factuelles. Dans la conception de cette évaluation, nous avons privilégié deux propriétés. Premièrement, SimpleQA est exigeant, car les questions ont été collectées de manière adversaire contre les réponses générées par GPT-4. Deuxièmement, les réponses sont faciles à évaluer, car les questions sont conçues de manière à ne permettre qu’une seule réponse exacte et indiscutable. Chaque réponse dans SimpleQA est notée comme correcte, incorrecte ou non tentée. Un modèle présentant un comportement idéal devrait répondre correctement au maximum de questions tout en s’abstenant de répondre à celles pour lesquelles il n’est pas certain de connaître la bonne réponse. SimpleQA constitue une évaluation simple et ciblée pour mesurer si les modèles « savent ce qu’ils savent », et nous espérons que ce benchmark restera pertinent pour les prochaines générations de modèles de pointe.