Apprentissage à faible nombre d’exemples (Few-Shot Learning) consiste à fournir un petit nombre d’exemples dans l’invite d’un grand modèle de langage, afin que le modèle apprenne la tâche actuelle par apprentissage en contexte, généralement sans mettre à jour les poids du modèle. Les termes « zéro exemple » (zero-shot), « un seul exemple » (one-shot) et « faible nombre d’exemples » (few-shot) décrivent une distinction courante basée sur le nombre d’exemples présents dans l’invite. Il convient de noter que, dans son sens large, l’apprentissage à faible nombre d’exemples inclut également des méthodes d’entraînement ou d’adaptation telles que l’apprentissage par méta-apprentissage et le fine-tuning, qui ne sont pas toutes équivalentes à l’apprentissage en contexte.

En 2020, Brown et al. ont mis cette approche en avant dans l’article « Language Models are Few-Shot Learners » en présentant GPT-3 : le modèle compte 175 milliards de paramètres, soit 10 fois plus que le plus grand modèle de langage non épars précédent ; aucune mise à jour par gradient ni fine-tuning n’est effectué pour les tâches, les instructions et les exemples étant fournis uniquement sous forme textuelle dans l’invite. Le modèle affiche des performances robustes sur la traduction, la question-réponse, les exercices à trous, ainsi que sur des tâches nécessitant un raisonnement en temps réel, comme la permutation de mots ou l’utilisation de termes nouveaux, atteignant parfois des niveaux proches des états de l’art obtenus par fine-tuning spécifique à chaque tâche.

Cela explique également pourquoi les performances d’un même modèle varient sensiblement selon l’invite utilisée — l’apprentissage en contexte est très sensible à la manière dont les exemples sont fournis. Cette approche transforme le paradigme « un modèle entraîné pour chaque tâche » en « un seul modèle adapté à toutes les tâches via des invites », favorisant directement l’essor de l’ingénierie des invites et de l’apprentissage en contexte. Les limites sont tout aussi évidentes : les résultats sont sensibles à la formulation des invites et au choix des exemples ; la sélection et l’ordre des exemples influencent les performances ; le nombre d’exemples est contraint par la taille de la fenêtre de contexte ; et les tâches de raisonnement complexe nécessitent encore des approches plus structurées.