다중 모드 혐오 메임 분류를 위한 메임과 단어의 매핑

다중모달 이미지-텍스트 밈은 인터넷에서 널리 퍼져 있으며, 시각적 요소와 텍스트 요소를 결합하여 유머, 아이디어 또는 감정을 전달하는 독특한 의사소통 방식으로 작용합니다. 그러나 일부 밈은 악의적인 방향으로 변질되어 증오 콘텐츠를 선동하고 차별을 고착화시키는 경우가 있습니다. 이러한 다중모달 환경에서 증오 밈을 탐지하는 것은 텍스트와 이미지의 얽힌 의미를 이해해야 하는 어려운 과제입니다. 본 연구에서는 이 문제를 해결하기 위해 다중모달 증오 밈 분류를 위한 새로운 접근법인 ISSUES를 제안합니다. ISSUES는 사전 학습된 CLIP 비전-언어 모델과 텍스트 역전 기술을 활용하여 밈의 다중모달 의미 내용을 효과적으로 포착합니다. 실험 결과, 제시된 방법이 Hateful Memes Challenge 및 HarMeme 데이터셋에서 최신 수준의 성능을 달성함을 보여줍니다. 코드와 사전 학습된 모델은 https://github.com/miccunifi/ISSUES에서 공개적으로 이용 가능합니다.