Die Rollendefinition (Role Setting) ist eine Konfigurationsmethode, bei der ein Modell durch System-Prompts, Rollenkarten oder Feinabstimmung (Fine-Tuning) dazu gebracht wird, mit einer spezifischen Identität, einem bestimmten Tonfall und definierten Wissensgrenzen zu sprechen. Sie löst nicht nur die Frage der „Ähnlichkeit“, sondern auch die der Konsistenz: Ein und dieselbe Rolle darf in einem Multi-Turn-Dialog weder widersprüchlich werden noch über die festgelegten Grenzen hinausgehen, um Fragen zu beantworten, die nicht beantwortet werden sollten.

Die frühe Form der Rollendefinition waren regelbasierte Chatbots. Im Jahr 1966 simulierte Weizenbaum in seinem Artikel ELIZA—A Computer Program For the Study of Natural Language Communication Between Man and Machine den Tonfall eines Psychotherapeuten mittels Musterabgleichung und zeigte damit, dass eine „Persönlichkeit“ allein durch Dialogregeln geformt werden kann. Im Zeitalter der großen Sprachmodelle stammt die Rollendefinition zunehmend aus der Produktpraxis, wird üblicherweise im System-Prompt verankert und hat Vorrang vor normalen Nutzereingaben.

Der erste systematische Benchmark für Rollendefinitionen war RoleLLM. Im Jahr 2023 erstellten Wang et al. in ihrem Artikel RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models Rollenprofile für 100 Charaktere, extrahierten rollenspezifisches Wissen mittels Context-Instruct, imitierten den Sprechstil mit RoleGPT und führten anschließend eine rollenbedingte instruktionsbasierte Feinabstimmung mit RoCIT durch.

Das Evaluationsmedium für Rollendefinitionen ist RoleBench – eine Sammlung von 168.093 Beispielen, die den ersten systematischen, feingranularen rollenbezogenen Benchmark darstellt. Die durch Feinabstimmung erhaltenen Modelle RoleLLaMA (Englisch) und RoleGLM (Chinesisch) verbesserten die Fähigkeiten im Rollenspiel erheblich und näherten sich sogar den Methoden, die von GPT-4 angetrieben werden. Rollen-Konsistenz ist die Grundlage für KI-Begleiter, Spiele-NPCs, Marken-Personifizierung und pädagogische Simulationen. Da ein zu starkes Eintauchen in die Rolle jedoch Verzerrungen verstärken oder Sicherheitsgrenzen umgehen kann, benötigen Rollendefinitionen ebenfalls messbare Standards und dürfen sich nicht nur auf das subjektive Gefühl der „Ähnlichkeit“ verlassen.