HyperAIHyperAI

Command Palette

Search for a command to run...

Prompt2Model: Generierung von bereitstellbaren Modellen aus natürlichen Sprachanweisungen

Vijay Viswanathan Chenyang Zhao Amanda Bertsch Tongshuang Wu Graham Neubig

Zusammenfassung

Große Sprachmodelle (LLMs) ermöglichen es Systementwicklern heute, leistungsfähige NLP-Systeme durch Prompting zu erstellen, bei dem lediglich eine Aufgabenbeschreibung in natürlicher Sprache sowie einige Beispiele bereitgestellt werden müssen. In anderen Aspekten stellen LLMs jedoch einen Rückschritt gegenüber traditionellen, spezialisierten NLP-Modellen dar: Sie erfordern erhebliche rechnerische Ressourcen für die Bereitstellung und können hinter APIs abgesichert sein. In diesem Paper stellen wir Prompt2Model vor, eine allgemein anwendbare Methode, die eine natürliche Sprachbeschreibung einer Aufgabe – ähnlich den Prompts, die an LLMs gerichtet werden – als Eingabe nimmt und diese verwendet, um ein spezialisierteres Modell zu trainieren, das für die Bereitstellung besser geeignet ist. Dies geschieht über einen mehrstufigen Prozess, der die Recherche bestehender Datensätze und vortrainierter Modelle, die Generierung von Datensätzen mittels LLMs sowie das überwachte Feintuning auf diesen rekonstruierten und generierten Datensätzen umfasst. An drei unterschiedlichen Aufgaben zeigen wir, dass Prompt2Model Modelle trainiert, die bei gleicher Eingabe eines wenige-Beispiel-Prompts im Durchschnitt um 20 % besser abschneiden als ein starkes LLM, nämlich gpt-3.5-turbo, gleichzeitig aber bis zu 700-mal kleiner sind. Zudem demonstrieren wir, dass diese Daten zur Erstellung zuverlässiger Leistungsschätzungen für Modelle genutzt werden können, was Entwicklern ermöglicht, die Zuverlässigkeit von Modellen vor der Bereitstellung zu bewerten. Prompt2Model ist unter https://github.com/neulab/prompt2model als Open-Source verfügbare Software erhältlich.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Prompt2Model: Generierung von bereitstellbaren Modellen aus natürlichen Sprachanweisungen | Paper | HyperAI