Der aktuelle Stand der Technik bei Methoden zur Beziehungsextraktion basiert in der Regel auf einem Satz lexikalischer, syntaktischer und semantischer Merkmale, die im Vorverarbeitungsschritt explizit berechnet werden. Das Training von Merkmalsextraktionsmodellen erfordert zusätzliche annotierte Sprachressourcen, was die Anwendbarkeit und Portabilität der Beziehungsextraktion auf neue Sprachen stark einschränkt. Ähnlich führt die Vorverarbeitung zu einer zusätzlichen Fehlerquelle. Um diese Einschränkungen zu überwinden, stellen wir TRE (Transformer for Relation Extraction) vor, eine Erweiterung des OpenAI Generativen Vortrainierten Transformers [Radford et al., 2018]. Im Gegensatz zu früheren Modellen zur Beziehungsextraktion verwendet TRE vortrainierte tiefe Sprachrepräsentationen anstelle expliziter linguistischer Merkmale, um die Klassifikation von Beziehungen zu informieren. Es kombiniert dies mit der selbstaufmerksamen Transformer-Architektur, um langfristige Abhängigkeiten zwischen Entitätsnennungen effektiv zu modellieren. TRE ermöglicht es uns, implizite linguistische Merkmale ausschließlich aus Textkorpora durch unsupervises Vortraining zu lernen, bevor wir die gelernten Sprachrepräsentationen für die Aufgabe der Beziehungsextraktion feintunen. TRE erzielt ein neues StandesderTechnik-Ergebnis auf den Datensätzen TACRED und SemEval 2010 Task 8, wobei es einen Test-F1-Wert von 67,4 und 87,1 erreicht. Darüber hinaus beobachten wir eine signifikante Steigerung der Stichprobeneffizienz. Mit nur 20 % der Trainingsbeispiele erreicht TRE die Leistung unserer Baseline-Modelle und unseres vom Grund auf trainierten Modells mit 100 % der TACRED-Datensätze. Wir veröffentlichen unsere trainierten Modelle, Experimente und Quellcode als Open Source.