ETHOS: 온라인 증오 발언 탐지 데이터셋

온라인 증오 발언은 사회 전반에 걸쳐 점점 더 심각해지는 문제로, 대부분의 소셜미디어 플랫폼이 특징짓는 제도적 취약점을 악용하면서 꾸준히 증가하고 있다. 이 현상은 주로 사용자 간 상호작용 도중 또는 게시된 멀티미디어 콘텐츠 형태로 나타나는 모욕적 댓글에 의해 주로 촉진된다. 현재 수백만 명의 사용자가 매일 접속하는 거대 기업이 소유한 플랫폼이 대부분이지만, 이러한 유사한 문제로부터 사용자를 보호하는 조치는 법적 준수 및 높은 서비스 품질 유지라는 측면에서 필수적이다. 관련 콘텐츠 업로드를 탐지하고 차단할 수 있는 강력하고 신뢰할 수 있는 시스템은 디지털로 연결된 사회에 있어 상당한 영향을 미칠 것이다. 우리의 일상생활 대부분은 소셜 프로필과 밀접하게 연결되어 있어 폭력적인 행동의 피해자로 취약해지기 쉽다. 결과적으로, 정확한 증오 발언 탐지 메커니즘이 부족할 경우 전반적인 사용자 경험은 심각하게 저하될 것이며, 잘못된 작동은 다양한 윤리적 문제를 야기할 수 있다. 본 논문에서는 유튜브와 Reddit 댓글을 기반으로 하며, Figure-Eight 크라우드소싱 플랫폼을 통해 검증된 텍스트 데이터셋 ‘ETHOS’를 제안한다. 이 데이터셋은 이진 분류(binary)와 다중 레이블(multi-label) 두 가지 유형으로 구성되어 있다. 또한, 이러한 데이터셋을 생성하기 위해 사용한 어노테이션 프로토콜도 제시한다. 이 프로토콜은 정의된 다양한 측면에 따라 데이터 균형을 맞추기 위한 활성 샘플링(active sampling) 절차를 포함하고 있다. 본 연구의 핵심 가정은, 이처럼 시간이 많이 소요되는 레이블링 과정에서 소량의 레이블 데이터를 확보하더라도, 분석 대상 자료 내에서 증오 발언의 존재 여부를 신뢰할 수 있게 보장할 수 있다는 점이다.