다양한 언어를 지원하는 혐오 발언 탐지용 딥러닝 모델

혐오 발언 탐지(Hate speech detection)는 대부분의 데이터셋이 오직 영어로만 제공되는 등 여전히 도전적인 문제이다. 본 논문에서는 16개의 다양한 출처에서 수집한 9개 언어에 대한 다국어 혐오 발언에 대해 대규모 분석을 수행하였다. 분석 결과, 자원이 제한된 환경에서는 LASER 임베딩과 로지스틱 회귀를 결합한 단순한 모델이 가장 우수한 성능을 보였으며, 반면 자원이 풍부한 환경에서는 BERT 기반 모델이 더 우수한 성능을 나타냈다. 제로샷 분류(zero-shot classification)의 경우, 이탈리아어 및 포르투갈어와 같은 언어에서 좋은 결과를 얻을 수 있었다. 본 연구에서 제안하는 프레임워크는 저자원 언어에 대한 효율적인 해결책으로 활용될 수 있으며, 향후 다국어 혐오 발언 탐지 연구를 위한 우수한 기준 모델(baseline model)로도 활용 가능하다. 본 연구의 코드와 실험 설정은 다른 연구자들이 활용할 수 있도록 GitHub 페이지(https://github.com/punyajoy/DE-LIMIT)에서 공개하였다.