في هذه الورقة، نقترح نموذج Multi$^2$2OIE، الذي يُنفّذ استخراج المعلومات المفتوحة (Open IE) من خلال دمج BERT مع الانتباه متعدد الرؤوس. يُعدّ نموذجنا نظام تصنيف تسلسلي يعتمد على طريقة فعّالة وفعّالة لاستخراج المعاملات. نستخدم بنية استعلام (Query) ومحور (Key) وقيمة (Value)، مستوحاة من مُحول متعدد الوسائط (Multimodal Transformer)، لاستبدال البنية السابقة المبنية على الذاكرة القصيرة والطويلة ذات الاتجاه المزدوج (BiLSTM) باستخدام الانتباه متعدد الرؤوس. يتفوّق Multi$^2$2OIE على النماذج التسلسلية الحالية من حيث الكفاءة الحسابية العالية على مجموعتي بيانات تقييم معياريتين، وهما Re-OIE2016 وCaRB. علاوةً على ذلك، طبّقنا الطريقة المقترحة على استخراج المعلومات المفتوحة متعدد اللغات باستخدام BERT متعدد اللغات. أظهرت النتائج التجريبية على مجموعات بيانات معيارية جديدة تم إدخالها للغتين (الأسبانية والبرتغالية) أن نموذجنا يتفوّق على النماذج متعددة اللغات الأخرى دون الحاجة إلى بيانات تدريب للغات الهدف.