DSPy : Compiler les appels de modèles linguistiques déclaratifs en pipelines auto-améliorants

La communauté des modèles d’apprentissage automatique (ML) explore rapidement des techniques de pilotage (prompting) des modèles linguistiques (LM) ainsi que leur assemblage en pipelines permettant de résoudre des tâches complexes. Malheureusement, les pipelines de LM existants sont généralement implémentés à l’aide de « modèles de prompt » rigides, c’est-à-dire des chaînes de caractères longues, découvertes empiriquement par essai et erreur. Pour adopter une approche plus systématique dans la conception et l’optimisation des pipelines de LM, nous introduisons DSPy, un modèle de programmation qui représente les pipelines de LM comme des graphes de transformation de texte, c’est-à-dire des graphes computationnels impératifs où les modèles linguistiques sont invoqués via des modules déclaratifs. Les modules DSPy sont paramétrés, ce qui signifie qu’ils peuvent apprendre (en générant et en collectant des exemples) comment appliquer des compositions de techniques de pilotage, de fine-tuning, d’augmentation et de raisonnement. Nous avons conçu un compilateur capable d’optimiser tout pipeline DSPy afin de maximiser une métrique donnée. Nous avons mené deux études de cas, démontrant que des programmes DSPy concis peuvent exprimer et optimiser des pipelines de LM sophistiqués capables de raisonner sur des problèmes mathématiques, de traiter des recherches multi-étapes, de répondre à des questions complexes et de contrôler des boucles d’agents. En quelques minutes de compilation, quelques lignes de code DSPy permettent à GPT-3.5 et à llama2-13b-chat de se construire automatiquement des pipelines qui surpassent significativement le pilotage par exemple peu nombreux (généralement de plus de 25 % et 65 %, respectivement) ainsi que les pipelines basés sur des exemples créés par des experts (de 5 à 46 % et de 16 à 40 %, respectivement). En outre, les programmes DSPy compilés pour des modèles ouverts et relativement petits comme T5 à 770M de paramètres ou llama2-13b-chat rivalisent avec des approches reposant sur des chaînes de prompts rédigées par des experts pour le modèle propriétaires GPT-3.5. DSPy est disponible à l’adresse suivante : https://github.com/stanfordnlp/dspy