Few-Shot-Learning ist eine Methode, bei der im Prompting großer Sprachmodelle wenige Beispiele bereitgestellt werden, damit das Modell die aktuelle Aufgabe kontextuell lernt, ohne dass die Modellgewichte aktualisiert werden. Zero-Shot, One-Shot und Few-Shot beschreiben die übliche Unterscheidung basierend auf der Anzahl der Beispiele im Prompt. Es ist zu beachten, dass Few-Shot-Learning im weiteren Sinne auch Trainings- oder Anpassungsmethoden wie Meta-Learning und Fine-Tuning umfasst und nicht immer gleichbedeutend mit In-Context-Learning ist.

Im Jahr 2020 stellte Brown et al. in ihrem Paper „Language Models are Few-Shot Learners” GPT-3 vor und rückte diesen Ansatz in den Vordergrund: Das Modell verfügt über 175 Milliarden Parameter, was das Zehnfache der Größe des zuvor größten nicht-sparse Sprachmodells beträgt. Für alle Aufgaben werden keine Gradienten-Updates und kein Fine-Tuning durchgeführt; die Aufgabenbeschreibung und die Beispiele werden rein als Text in den Prompt eingefügt. Das Modell zeigt starke Leistungen bei Übersetzungen, Frage-Antwort-Aufgaben, Lückentexten sowie bei Aufgaben, die ein spontanes Schlussfolgern erfordern, wie das Durcheinanderwürfeln von Wörtern oder die Verwendung neuer Begriffe, und erreicht teilweise nahezu den Stand der Technik, der durch Fine-Tuning auf einzelne Aufgaben erzielt wird.

Dies erklärt auch, warum die Leistung desselben Modells bei unterschiedlichen Prompts deutlich schwankt – In-Context-Learning reagiert hochsensibel darauf, „wie die Beispiele gegeben werden”. Der Ansatz wandelt „ein Modell pro Aufgabe trainieren” in „ein Modell, das sich über Prompts an alle Aufgaben anpasst” um und trieb damit direkt die Entwicklung von Prompt Engineering und In-Context-Learning voran. Die Grenzen sind jedoch ebenso offensichtlich: Die Wirksamkeit hängt stark von der Formulierung des Prompts und der Auswahl der Beispiele ab; sowohl die Auswahl als auch die Reihenfolge der Beispiele beeinflussen das Ergebnis, die Anzahl der Beispiele wird durch die Kontextfenstergröße begrenzt, und für komplexe Schlussfolgerungsaufgaben sind weiterhin strukturiertere Methoden erforderlich.