検索ガイダンス付き対照学習を用いた憎悪表現メーム検出の改善

憎悪を助長するミームがインターネット上で重要な懸念事項となっています。憎悪を含むミームの検出には、システムが視覚的および文章的情報を統合して理解することが必要です。当研究では、既存のCLIPベースのシステムの埋め込み空間が、正確な憎悪判定に不可欠な微妙な違いに対して感度が低いことが明らかになりました。そこで、検索誘導型コントラスティブ学習を通じて、憎悪認識可能な埋め込み空間の構築を提案します。本手法は、HatefulMemesデータセットにおいてAUROC（Area Under the Receiver Operating Characteristic curve）87.0という最先端の性能を達成し、より大規模な微調整済み多モーダルモデルを上回っています。また、訓練データに含まれていない新しいデータに基づいても憎悪を識別できる検索ベースの憎悪ミーム検出システムを示しています。これにより、開発者は新しい例を単純に追加することで憎悪ミーム検出システムを更新でき、再学習を行うことなく対応できます。これは、インターネット上の憎悪ミームが常に進化している状況下で実際のサービスに望ましい特徴です。