Große Sprachmodelle treffen Harry Potter: Ein zweisprachiger Datensatz zur Anpassung von Dialogagenten an Charaktere

In den letzten Jahren haben dialogbasierte große Sprachmodelle (LLMs) wie ChatGPT und GPT-4 ein großes Potenzial gezeigt, offene Dialogagenten zu konstruieren. Allerdings bleibt die Anpassung dieser Agenten an spezifische Charaktere oder Individuen aufgrund der Komplexität der Charakterdarstellung und des Mangels an umfassenden Annotationen eine erhebliche Herausforderung. In dieser Arbeit stellen wir den Harry-Potter-Dialog-Datensatz (HPD) vor, der entwickelt wurde, um die Forschung zu Dialogagenten und Charakteranpassung voranzutreiben. Der Datensatz umfasst alle Dialogszenen (auf Englisch und Chinesisch) aus der Harry-Potter-Reihe und ist mit wichtigen Hintergrundinformationen annotiert, einschließlich Dialogszenarien, Sprechern, Charakterbeziehungen und -attributen. Diese umfangreichen Annotationen können großen Sprachmodellen dabei helfen, charaktergetriebene Dialogfähigkeiten zu entwickeln. Darüber hinaus kann er als universelles Benchmark-Instrument dienen, um abzuschätzen, wie gut ein LLM sich an einen bestimmten Charakter anpassen kann. Wir evaluieren LLMs auf dem HPD sowohl in Fine-Tuning- als auch in In-Context-Learning-Szenarien. Die Evaluationsergebnisse zeigen, dass trotz eines erheblichen Verbesserungsbedarfs bei der Generierung hochwertiger, charakterangepasster Antworten der vorgeschlagene Datensatz wertvoll ist, um Modelle in Richtung von Antworten zu führen, die besser zum Charakter Harry Potters passen.