Ali Montazeralghaem Guy Tennenholtz Craig Boutilier Ofer Meshi

Abstract

Große Sprachmodelle (LLMs) haben es Empfehlungssystemen ermöglicht, mit Nutzern über offene, dialogbasierte Schnittstellen zu interagieren. Um LLM-Antworten zu personalisieren, ist es entscheidend, Nutzerpräferenzen zu erfassen, insbesondere wenn nur begrenzte Nutzergeschichte vorliegt. Eine Möglichkeit, zusätzliche Informationen zu gewinnen, besteht darin, präzisierende Fragen an den Nutzer zu stellen. Die Generierung effektiver sequenzieller präzisierender Fragen über verschiedene Domänen hinweg bleibt jedoch eine Herausforderung. Um diesem Problem zu begegnen, stellen wir einen neuartigen Ansatz zur Schulung von LLMs vor, die sequenzielle Fragen stellen, um Nutzerpräferenzen aufzudecken. Unser Verfahren folgt einem zweistufigen Prozess, der von Diffusionsmodellen inspiriert ist. Ausgehend von einem Nutzerprofil generiert der Vorwärtsprozess präzisierende Fragen, um Antworten zu erhalten, und entfernt diese anschließend schrittweise – wodurch das Nutzerprofil „gestört“ wird, ähnlich wie Rauschen in einem Signal. Der Rückwärtsprozess trainiert ein Modell dazu, dieses gestörte Nutzerprofil durch das Lernen, effektive präzisierende Fragen zu stellen, zu „entstören“. Unsere Ergebnisse zeigen, dass unsere Methode die Fähigkeit des LLMs erheblich verbessert, gezielte, funnel-artige Fragen zu stellen und Nutzerpräferenzen effektiv zu erheben.