Deepro Choudhury Sinead Williamson Adam Goliński Ning Miao Freddie Bickford Smith et al

Abstract

Wir schlagen einen allgemein anwendbaren Ansatz zur Verbesserung der Fähigkeit von großen Sprachmodellen (Large Language Models, LLMs) vor, informationell intelligent und adaptiv aus einem Benutzer oder einer anderen externen Quelle zu lernen, basierend auf dem Rahmenwerk der sequentiellen bayesianischen Experimentaldesigns (Bayesian Experimental Design, BED). Dadurch können LLMs als effektive Mehrschritt-Kommunikationsagenten agieren und interaktiv mit externen Umgebungen wechselwirken. Unser Ansatz, den wir BED-LLM (Bayesian Experimental Design with Large Language Models) nennen, basiert auf der iterativen Auswahl von Fragen oder Abfragen, die den erwarteten Informationsgewinn (Expected Information Gain, EIG) bezüglich der interessierenden Aufgabe maximieren, unter Berücksichtigung der bereits gesammelten Antworten. Wir zeigen, wie dieser EIG prinzipiengeleitet mittels eines aus der Glaubensverteilung des LLM abgeleiteten probabilistischen Modells formuliert werden kann, und geben detaillierte Einblicke in die zentralen Entscheidungen bei seiner Konstruktion. Entscheidend für den Erfolg von BED-LLM sind eine Reihe spezifischer Innovationen, darunter ein sorgfältig entworfener Schätzer für den EIG, der nicht ausschließlich auf kontextbasierte Aktualisierungen zur Bedingung auf vorherigen Antworten angewiesen ist, sowie eine gezielte Strategie zur Generierung von Kandidatenfragen. Wir stellen fest, dass BED-LLM im Vergleich zu direktem Prompting des LLM sowie anderen adaptiven Designstrategien erhebliche Leistungsverbesserungen bei einer Vielzahl von Tests – basierend auf dem 20-Fragen-Spiel und der aktiven Inferenz von Benutzerpräferenzen – erzielt.