RpBERT: テキスト-画像関係伝播に基づくBERTモデルによるマルチモーダルNER

最近、マルチモーダルな固有表現認識（MNER）は、画像を活用してツイートにおけるNERの精度向上に取り組んでいます。しかし、多くのマルチモーダル手法は、テキストと画像が関連しているかどうかに関わらず、注意機構を使用して視覚的な手がかりを抽出しています。実際には、ツイートにおいて関連性のないテキスト-画像ペアが大きな割合を占めています。テキストと関係のない視覚的な手がかりは、マルチモーダルモデルの学習に不確定な影響や甚至ネガティブな影響を与える可能性があります。本論文では、テキスト-画像関係伝播の方法をマルチモーダルBERTモデルに導入します。ソフトゲートまたはハードゲートを統合して視覚的な手がかりを選択し、MNERデータセットで学習するための多タスクアルゴリズムを提案します。実験では、テキスト-画像関係伝播の使用前後での視覚的注意の変化を詳細に分析しました。当モデルはMNERデータセットにおいて最先端の性能を達成しています。注：「even」は文脈によって訳し方を変えますが、「甚至」（さらには）という訳し方もあります。ただし、「甚至」はやや強調的な意味合いを持つため、「不確定な影響やさらにはネガティブな影響」と訳すことでバランスを取りました。