다중모달 혐오 감지를 위한 견고한 프레임워크 방향: 영상 기반 콘텐츠와 이미지 기반 콘텐츠에 대한 연구

소셜 미디어 플랫폼은 텍스트, 청각, 시각 등 다양한 모달리티를 통해 혐오 콘텐츠의 확산을 가능하게 하며, 이에 따라 효과적인 탐지 방법의 필요성이 증대되고 있다. 최근의 접근법들은 개별 모달리티에 대해 유망한 성과를 보였지만, 다양한 모달리티 조합에서의 효과성은 여전히 탐색되지 않은 영역이다. 본 연구는 영상 및 이미지 기반 콘텐츠에서 다모달 혐오 탐지에 대한 융합 기반 접근법을 체계적으로 분석하며, 그 성능을 평가한다. 포괄적인 평가 결과, 각 모달리티에 특화된 한계가 두드러진 것으로 나타났다. 영상 콘텐츠( HateMM 데이터셋)에서는 단순 임베딩 융합이 최신 기술 수준의 성능을 달성하며 F1 점수에서 9.9%p 향상되는 결과를 보였으나, 멤(이미지-텍스트 혼합) 콘텐츠(Hateful Memes 데이터셋)에서 복잡한 이미지-텍스트 관계를 다루는 데 어려움을 겪는다. 심층적인 아블레이션 연구와 오류 분석을 통해, 현재의 융합 기법이 특히 무해한 혼동 요인(보이지 않는 외부 요인)이 존재하는 경우에 미묘한 다모달 상호작용을 포착하지 못함을 입증한다. 본 연구의 발견은 더욱 견고한 혐오 탐지 시스템 개발을 위한 중요한 통찰을 제공하며, 모달리티에 특화된 아키텍처 설계의 필요성을 강조한다. 코드는 다음 주소에서 제공된다: https://github.com/gak97/Video-vs-Meme-Hate.