GPT steht für Generative Pre-trained Transformer, ein Deep-Learning-Modell für neuronale Netzwerke, das auf der Transformer-Architektur basiert und 2018 von OpenAI vorgeschlagen wurde. Durch das Vortraining mit umfangreichen Textdaten verfügt das GPT-Modell über leistungsstarke Fähigkeiten zum Sprachverständnis und zur Sprachgenerierung und kann für eine Vielzahl von Aufgaben der natürlichen Sprachverarbeitung verwendet werden, wie z. B. Textgenerierung, Dialogsysteme, maschinelle Übersetzung, Stimmungsanalyse, Frage-Antwort-Systeme usw.

Die Kerntechnologie des GPT-Modells ist die Transformer-Architektur, die Kontextinformationen effektiv erfasst, Fernabhängigkeiten verarbeitet und paralleles Computing durch den Self-Attention-Mechanismus implementiert. Der Vortrainingsprozess des GPT-Modells verwendet normalerweise die Zielfunktion des Sprachmodells, nämlich die Wahrscheinlichkeit des nächsten Wortes basierend auf den vorherigen k Wörtern vorherzusagen und es dann für eine bestimmte Aufgabe zu optimieren. Das folgende Diagramm zeigt die verschiedenen Entwicklungsstadien von GPT.