AI-인간 공동 주석을 활용한 텔레그램 데이터의 다중 수준 위협 탐색: 초보적 연구

이 연구는 미국의 투표, 공직자 및 기관을 대상으로 하는 소셜미디어 댓글에서 위협을 효과적으로 측정하는 핵심 과제를 다룹니다. 이러한 온라인 위협과 실제 세계의 위험 간의 관계에 대한 우리의 이해는 여전히 제한적이며, 이로 인해 위협의 심각성을 평가하는 데 어려움이 있습니다. 이러한 한계를 극복하기 위해, 0에서 5까지의 포괄적인 위협 수준 척도를 제안하고, 이를 개발하고 철저히 검증하기 위해 130만 건의 텔레그램 응답 데이터셋을 수집하였습니다. 또한, 이 방대한 데이터셋을 효율적으로 레이블링하기 위해 OpenAI와 인간의 공동(annotation) 작업 방식을 탐구하였습니다. 본 연구는 혁신적인 이단계 전이학습(transfer learning) 접근법을 제시하며, 먼저 기존에 존재하는 사전 학습된 모델을 활용하여 레이블링을 수행한 후 전문가 검증을 거칩니다. 이후 AI가 레이블링한 샘플을 기반으로 독립적인 모델을 개발하고, 전문 annotator가 모델의 예측 결과를 검증합니다. 특히, 본 연구의 결과는 GPT-2 모델이 더 적은 수의 레이블링된 학습 데이터셋을 기반으로 하더라도 OpenAI의 레이블링과 비교해 유사한 성능을 보임을 입증하며, 향후 더 많은 레이블링 데이터가 확보될 경우 비용 효율적인 위협 탐지에 대한 잠재력을 보여줍니다. 장기적으로 지속적인 위협 수준 모니터링 체계를 구축하는 것을 목표로 하며, 현재의 접근법의 강점과 한계를 식별하고, 위협 탐지 능력을 향상시키기 위한 로드맵을 제안합니다.