Hate-CLIPper: CLIP 특성의 교차 모달 상호작용을 기반으로 한 다중 모달 혐오 메모 분류

사회 미디어에서 증오 메모리는 점점 더 큰 위협이 되고 있습니다. 메모리의 이미지와 해당 텍스트는 관련이 있지만, 각각 개별적으로 볼 때 같은 의미를 전달하지는 않습니다. 따라서 증오 메모리를 감지하기 위해서는 시각적 정보와 텍스트 정보 모두를 신중하게 고려해야 합니다. 다중 모드 사전 학습은 이러한 작업에 유용할 수 있습니다. 이 방법은 이미지와 텍스트를 유사한 특성 공간으로 표현하여 그들 사이의 관계를 효과적으로 포착하기 때문입니다. 또한, 이미지와 텍스트 특성 간의 상호 작용을 중간 융합을 통해 모델링하는 것이 필수적입니다. 기존의 대부분 방법들은 다중 모드 사전 학습이나 중간 융합을 사용하지만, 둘 다를 사용하지는 않습니다. 본 연구에서는 Contrastive Language-Image Pre-training (CLIP) 인코더를 사용하여 얻은 이미지와 텍스트 표현 간의 교차 모드 상호 작용을 명시적으로 모델링하는 Hate-CLIPper 아키텍처를 제안합니다. FIM(FEATURE INTERACTION MATRIX) 표현을 기반으로 하는 단순 분류기는 Hateful Memes Challenge (HMC) 데이터셋에서 85.8의 AUROC로 최신 성능을 달성하며, 이는 82.65의 인간 성능을 초월합니다. Propaganda Memes 및 TamilMemes 등의 다른 메모리 데이터셋에서도 실험한 결과, 제안된 접근 방식의 일반화 능력이 입증되었습니다. 마지막으로, FIM 표현의 해석 가능성을 분석하고 교차 모드 상호 작용이 실제로 의미 있는 개념 학습을 촉진할 수 있음을 보여주었습니다. 본 연구의 코드는 https://github.com/gokulkarthik/hateclipper 에서 확인할 수 있습니다.