الطرق الحالية الأكثر تقدماً لاستخراج العلاقات تعتمد عادة على مجموعة من الخصائص اللفظية والنحوية والمعنوية، والتي يتم حسابها بشكل صريح في خطوة ما قبل المعالجة. يتطلب تدريب نماذج استخراج الخصائص موارد لغوية مشتقة إضافية، مما يحد بشدة من قابلية تطبيق واستخدام استخراج العلاقات في اللغات الجديدة. بالإضافة إلى ذلك، فإن ما قبل المعالجة يدخل مصدرًا إضافيًا للخطأ. لمعالجة هذه التحديات، نقدم TRE (Transformer for Relation Extraction)، وهو توسيع لنموذج OpenAI Generative Pre-trained Transformer [Radford et al., 2018]. بخلاف النماذج السابقة لاستخراج العلاقات، يستخدم TRE تمثيلات اللغة العميقة المشتقة مسبقًا بدلاً من الخصائص اللغوية الصريحة لتوجيه تصنيف العلاقة، ويجمع بينها والهندسة الذاتية للـ Transformer لتحقيق نمذجة فعالة للارتباطات طويلة المدى بين ذكريات الكيانات. يسمح لنا TRE بتعلم الخصائص اللغوية الضمنية من المجموعات النصية البسيطة فقط عن طريق التدريب غير المنظور قبل التعديل الدقيق للتمثيلات اللغوية المشتقة على مهمة استخراج العلاقات. حقق TRE نتيجة جديدة هي الأفضل على مجموعتي البيانات TACRED وSemEval 2010 Task 8، حيث بلغ مؤشر F1 في الاختبار 67.4 و87.1 على التوالي. علاوة على ذلك، نلاحظ زيادة كبيرة في كفاءة العينات. باستخدام فقط 20% من أمثلة التدريب، يتطابق أداء TRE مع أداء نقاط الأساس الخاصة بنا والنموذج الذي تم تدريبه من الصفر باستخدام 100% من بيانات TACRED. نقوم بتوفير كود المصدر وأمثلة التدريب والنماذج التي تم تدريبها بشكل مفتوح المصدر.