マルチモーダル深層学習アプローチを用いたメームにおけるヘイトスピーチの検出：Hateful Memes Challengeの受賞ソリューション

インターネット上のミームはしばしば無害であり、時には面白さを提供します。しかし、特定の種類の画像、テキスト、またはその両方の組み合わせを使用することで、無害と思われていたミームがマルチモーダルな憎しみ表現（hate speech）へと変容し、憎悪ミームとなります。『憎悪ミーム挑戦』は、マルチモーダルなミームにおける憎しみ表現の検出に焦点を当てた初の競争で、10,000件以上の新たなマルチモーダルコンテンツ例を含む新しいデータセットを提案しています。本研究では、視覚と言語のためのBERTとされるVisualBERTを用いて、画像とキャプションに対してマルチモーダルに訓練を行い、アンサンブル学習を適用しました。当方の手法はチャレンジテストセットにおいて0.811のAUROC（面積下受信者操作特性曲線）と0.765の精度を達成し、3,173人の参加者中第3位となりました。