本稿では、BERTとマルチヘッドアテンションを組み合わせることでオープン情報抽出（Open IE）を実現するMulti$^2$2OIEを提案する。本モデルは、効率的かつ有効な述語項抽出手法を備えたシーケンスラベリングシステムである。従来の双方向LSTM（bidirectional long short-term memory）アーキテクチャを、マルチモーダルTransformerに着想を得たクエリ・キー・バリュー構造によるマルチヘッドアテンションに置き換えることで、より効率的な処理を実現した。Multi$^2$2OIEは、Re-OIE2016およびCaRBという2つのベンチマーク評価データセットにおいて、既存のシーケンスラベリングシステムを上回る性能を発揮しつつ、高い計算効率を維持している。さらに、多言語BERTを用いた多言語オープン情報抽出への適用も行い、スペイン語およびポルトガル語の2言語について新たに導入されたベンチマークデータセット上で実験を行った結果、対象言語の学習データを一切用いない状態でも、他の多言語システムを上回る性能を示した。