Bien que la recherche conversationnelle soit devenue un sujet d’intérêt majeur tant dans le domaine des dialogues que dans celui de l’information retrieval (IR), les progrès significatifs ont été freinés par l’échelle et la qualité des jeux de données disponibles. Pour surmonter cette limitation fondamentale, nous introduisons le jeu de données Multimodal Multi-domain Conversational (MMConv), une collection entièrement annotée de dialogues de rôle entre humains, couvrant plusieurs domaines et tâches. Cette contribution s’inscrit en deux volets. Premièrement, au-delà des dialogues multimodaux orientés vers une tâche entre utilisateurs et agents, les dialogues sont entièrement annotés avec des états de croyance conversationnels et des actes de dialogue. Plus important encore, nous avons mis en place un environnement relativement complet pour mener des recherches conversationnelles multimodales dans des conditions réalistes : une base de données structurée de lieux, une bibliothèque d’images annotées ainsi qu’une base de connaissances alimentée par le crowd-sourcing. Une description détaillée de la procédure de collecte des données, ainsi qu’un résumé de la structure et une analyse des données, sont fournies. Deuxièmement, nous présentons un ensemble de résultats de référence pour la traçabilité de l’état de dialogue, la recommandation conversationnelle, la génération de réponses, ainsi qu’un modèle unifié pour plusieurs tâches. En appliquant les méthodes les plus avancées disponibles pour chacune de ces tâches, nous démontrons la faisabilité d’utilisation du jeu de données, discutons les limites des approches actuelles et établissons des bases de référence pour les recherches futures.