Prompt2Model: Generierung von bereitstellbaren Modellen aus natürlichen Sprachanweisungen

Große Sprachmodelle (LLMs) ermöglichen es Systementwicklern heute, leistungsfähige NLP-Systeme durch Prompting zu erstellen, bei dem lediglich eine Aufgabenbeschreibung in natürlicher Sprache sowie einige Beispiele bereitgestellt werden müssen. In anderen Aspekten stellen LLMs jedoch einen Rückschritt gegenüber traditionellen, spezialisierten NLP-Modellen dar: Sie erfordern erhebliche rechnerische Ressourcen für die Bereitstellung und können hinter APIs abgesichert sein. In diesem Paper stellen wir Prompt2Model vor, eine allgemein anwendbare Methode, die eine natürliche Sprachbeschreibung einer Aufgabe – ähnlich den Prompts, die an LLMs gerichtet werden – als Eingabe nimmt und diese verwendet, um ein spezialisierteres Modell zu trainieren, das für die Bereitstellung besser geeignet ist. Dies geschieht über einen mehrstufigen Prozess, der die Recherche bestehender Datensätze und vortrainierter Modelle, die Generierung von Datensätzen mittels LLMs sowie das überwachte Feintuning auf diesen rekonstruierten und generierten Datensätzen umfasst. An drei unterschiedlichen Aufgaben zeigen wir, dass Prompt2Model Modelle trainiert, die bei gleicher Eingabe eines wenige-Beispiel-Prompts im Durchschnitt um 20 % besser abschneiden als ein starkes LLM, nämlich gpt-3.5-turbo, gleichzeitig aber bis zu 700-mal kleiner sind. Zudem demonstrieren wir, dass diese Daten zur Erstellung zuverlässiger Leistungsschätzungen für Modelle genutzt werden können, was Entwicklern ermöglicht, die Zuverlässigkeit von Modellen vor der Bereitstellung zu bewerten. Prompt2Model ist unter https://github.com/neulab/prompt2model als Open-Source verfügbare Software erhältlich.