해슬리 미모 챌린지: 다중모달 미모에서 증오 발언 탐지

이 연구는 다중모달 멤을 활용한 혐오 발언 탐지에 초점을 맞춘 새로운 챌린지 세트를 제안한다. 이 데이터셋은 단일모달 모델이 어려움을 겪고, 오직 다중모달 모델만 성공할 수 있도록 구성되어 있다. 즉, 단일모달 신호에 의존하기 어렵게 하기 위해 어려운 예시(‘무해한 혼동 요인’, benign confounders)를 데이터셋에 추가하였다. 이 작업은 미묘한 추론 능력을 요구하지만, 이진 분류 문제로서 평가하기는 간단하다. 본 연구에서는 단일모달 모델과 다양한 수준의 복잡성을 지닌 다중모달 모델에 대한 베이스라인 성능 수치를 제시한다. 분석 결과, 최신 기술을 적용한 모델의 성능은 인간의 성능(64.73% 대 84.7% 정확도)에 비해 크게 뒤처지는 것으로 나타났으며, 이는 해당 과제의 난이도를 입증하고, 이 중요한 문제 해결이 연구 공동체에 제기하는 도전 과제를 강조한다.