Die ML-Community erforscht derzeit rasch Techniken zum Prompting von Sprachmodellen (LMs) sowie deren Stapelung zu Pipelines, die komplexe Aufgaben lösen. Leider werden bestehende LM-Pipelines typischerweise mit hartcodierten „Prompt-Vorlagen“ implementiert, also langen Zeichenketten, die durch Ausprobieren entdeckt wurden. Um einen systematischeren Ansatz für die Entwicklung und Optimierung von LM-Pipelines zu ermöglichen, stellen wir DSPy vor, ein Programmiermodell, das LM-Pipelines als Texttransformationgraphen abbildet – also imperative Rechengebilde, bei denen LMs über deklarative Module aufgerufen werden. DSPy-Module sind parametrisiert, was bedeutet, dass sie lernen können (durch Erzeugung und Sammlung von Demonstrationen), wie sie Kombinationen aus Prompting, Fine-Tuning, Augmentation und Schlussfolgerungstechniken anzuwenden sind. Wir haben einen Compiler entwickelt, der jede DSPy-Pipeline optimiert, um eine vorgegebene Metrik zu maximieren. In zwei Fallstudien zeigen wir, dass kurze DSPy-Programme komplexe LM-Pipelines ausdrücken und optimieren können, die mathematische Textaufgaben bearbeiten, mehrschrittige Recherchen durchführen, komplexe Fragen beantworten und Agentenschleifen steuern. Innerhalb weniger Minuten Compilierung ermöglichen einige Zeilen DSPy, dass GPT-3.5 und llama2-13b-chat selbstständig Pipelines aufbauen, die standardmäßiges Few-Shot-Prompting (typischerweise um über 25 % bzw. 65 %) und Pipelines mit von Experten erstellten Demonstrationen (bis zu 5–46 % bzw. 16–40 %) übertrifft. Darüber hinaus sind DSPy-Programme, die auf offene und vergleichsweise kleine LMs wie das 770-M-Parameter-T5-Modell oder llama2-13b-chat kompiliert wurden, mit Ansätzen wettbewerbsfähig, die auf expertenverfassten Prompt-Ketten für proprietäre GPT-3.5 setzen. DSPy ist unter https://github.com/stanfordnlp/dspy verfügbar.