HyperAIHyperAI

Command Palette

Search for a command to run...

RpBERT: テキスト-画像関係伝播に基づくBERTモデルによるマルチモーダルNER

Lin Sun* Jiquan Wang* Kai Zhang Yindu Su Fangsheng Weng

概要

最近、マルチモーダルな固有表現認識(MNER)は、画像を活用してツイートにおけるNERの精度向上に取り組んでいます。しかし、多くのマルチモーダル手法は、テキストと画像が関連しているかどうかに関わらず、注意機構を使用して視覚的な手がかりを抽出しています。実際には、ツイートにおいて関連性のないテキスト-画像ペアが大きな割合を占めています。テキストと関係のない視覚的な手がかりは、マルチモーダルモデルの学習に不確定な影響や甚至ネガティブな影響を与える可能性があります。本論文では、テキスト-画像関係伝播の方法をマルチモーダルBERTモデルに導入します。ソフトゲートまたはハードゲートを統合して視覚的な手がかりを選択し、MNERデータセットで学習するための多タスクアルゴリズムを提案します。実験では、テキスト-画像関係伝播の使用前後での視覚的注意の変化を詳細に分析しました。当モデルはMNERデータセットにおいて最先端の性能を達成しています。注:「even」は文脈によって訳し方を変えますが、「甚至」(さらには)という訳し方もあります。ただし、「甚至」はやや強調的な意味合いを持つため、「不確定な影響やさらにはネガティブな影響」と訳すことでバランスを取りました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています