Dans cet article, nous proposons Multi$^2$2OIE, un modèle qui réalise l’extraction d’information ouverte (open IE) en combinant BERT avec une attention à plusieurs têtes. Notre modèle repose sur un système de marquage de séquences doté d'une méthode efficace et performante pour l’extraction des arguments. Nous adoptons une configuration inspirée du Multimodal Transformer, basée sur les concepts de requête, clé et valeur, afin de remplacer l’architecture précédemment utilisée, fondée sur les réseaux de mémoire à long terme bidirectionnels (bi-LSTM), par une attention à plusieurs têtes. Multi$^2$2OIE surpasse les systèmes de marquage de séquences existants en termes de précision tout en offrant une efficacité computationnelle élevée sur deux jeux de données de référence, Re-OIE2016 et CaRB. En outre, nous appliquons la méthode proposée à l’extraction d’information ouverte multilingue en utilisant BERT multilingue. Les résultats expérimentaux obtenus sur de nouveaux jeux de données de référence introduits pour deux langues (espagnol et portugais) démontrent que notre modèle surpasser les autres systèmes multilingues, même en l’absence de données d’entraînement pour les langues cibles.