Ces dernières années, les grands modèles de langage conversationnels (LLMs) tels que ChatGPT et GPT-4 ont démontré un potentiel considérable dans la construction d'agents de dialogue à domaine ouvert. Cependant, l'alignement de ces agents avec des personnages spécifiques ou des individus reste un défi majeur en raison des complexités de la représentation des personnages et du manque d'annotations exhaustives. Dans cet article, nous présentons le jeu de données Harry Potter Dialogue (HPD), conçu pour faire progresser l'étude des agents de dialogue et de l'alignement des personnages. Ce jeu de données couvre toutes les séances de dialogue (en anglais et en chinois) de la série Harry Potter et est annoté avec des informations contextuelles essentielles, notamment les scènes de dialogue, les locuteurs, les relations entre les personnages et leurs attributs. Ces annotations exhaustives peuvent permettre aux LLMs d'accéder à des capacités conversationnelles guidées par les personnages. De plus, il peut servir de référence universelle pour évaluer la capacité d'un LLM à s'aligner sur un personnage spécifique. Nous évaluons les LLMs sur HPD dans des configurations d'apprentissage par fine-tuning et d'apprentissage en contexte. Les résultats montrent qu'il existe encore un grand potentiel d'amélioration pour générer des réponses de haute qualité et alignées sur les personnages, mais que le jeu de données proposé est précieux pour orienter les modèles vers des réponses qui s'alignent mieux sur le personnage de Harry Potter.