SpERTを紹介する。これは、スパンベースの共同エンティティおよび関係抽出を目的としたアテンションモデルである。本研究の主な貢献は、BERT埋め込みに対する軽量な推論機構であり、エンティティ認識とフィルタリング、および局所化されたマーカー不要な文脈表現を用いた関係分類を特徴とする。モデルは、文内での強いネガティブサンプルを用いて訓練されており、これらのサンプルは1回のBERT処理で効率的に抽出可能である。この特性により、文内のすべてのスパンに対する探索が可能となる。アブレーション研究を通じて、事前学習、強力なネガティブサンプリング、局所的文脈表現の有効性を実証した。本モデルは、複数の共同エンティティ・関係抽出データセットにおいて、従来手法を最大2.6%のF1スコア向上で上回っている。