HateMM: 혐오 영상 분류를 위한 다중 모달 데이터셋

증오 발언은 현대 사회에서 가장 중요한 이슈 중 하나가 되었으며, 온라인과 오프라인 양 측면에서 광범위한 영향을 미친다. 이러한 이유로 증오 발언 연구는 최근 급격히 주목받고 있다. 그러나 기존 연구 대부분은 텍스트 매체에 집중되어 있으며, 이미지에 대한 연구는 상대적으로 적고, 비디오에 대한 연구는 더욱 제한적이다. 따라서 플랫폼의 안전성과 건강성을 유지하기 위해 업로드되는 비디오를 조기에 자동으로 모니터링할 수 있는 기술이 시급하다. 본 연구는 비디오 공유 플랫폼에서 증오성 콘텐츠를 탐지하고 제거하기 위해 다중 모달리티를 활용한 증오 비디오 탐지에 초점을 맞추었다. 이를 위해 BitChute에서 약 43시간 분량의 비디오를 수집하고, 수작업으로 증오 여부를 라벨링하며, 각 라벨링 결정을 뒷받침하는 프레임 구간도 함께 표기하였다. 관련 비디오를 수집하기 위해 증오어 사전(Hate Lexicon)에서 추출한 검색 키워드를 활용하였다. 분석 결과, 증오 비디오의 이미지 및 오디오 측면에서 다양한 증거를 관찰할 수 있었다. 또한, 심층 학습 기반의 다중 모달 모델을 구축하여 증오 비디오를 분류하였으며, 모든 모달리티를 통합 사용할 경우, 가장 우수한 단일 모달 모델 대비 전반적인 증오 발언 탐지 성능이 약 5.7% 향상됨을 확인하였다(정확도: 0.798, 매크로 F1 스코어: 0.790). 요약하면, 본 연구는 BitChute와 같은 비디오 호스팅 플랫폼에서 증오성 비디오를 이해하고 모델링하는 데 있어 첫걸음을 내딛는 계기를 마련하였다.