La réponse à des questions dans un domaine ouvert a connu une popularité croissante récemment, en raison du succès des modèles de récupération dense, qui surpassent désormais les modèles creux en ne nécessitant qu’un faible nombre d’exemples d’apprentissage supervisé. Toutefois, dans ce papier, nous démontrons que les modèles denses actuels ne constituent pas encore le Graal de la récupération. Nous construisons tout d’abord EntityQuestions, un ensemble de questions simples riches en entités, basées sur des faits provenant de Wikidata (par exemple : « Où Arve Furset est-il né ? »), et constatons que les récupérateurs denses s’effondrent en performance par rapport aux méthodes creuses. Nous explorons ce problème et découvrons que les récupérateurs denses ne parviennent à généraliser qu’aux entités courantes, à moins que le motif de la question n’ait été explicitement observé pendant l’apprentissage. Nous discutons deux solutions simples pour remédier à ce problème critique. Premièrement, nous montrons que l’augmentation de données ne peut pas résoudre le problème de généralisation. Deuxièmement, nous soutenons qu’un encodeur de passages plus robuste permettrait une meilleure adaptation aux questions grâce à l’emploi d’encodeurs de questions spécialisés. Nous espérons que notre travail contribuera à mieux comprendre les défis liés à la création d’un récupérateur dense robuste et universel, performant sur différentes distributions d’entrée.