검색 안내 대비 학습을 통한 혐오 메모 검출 개선

혐오스러운 밈이 인터넷에서 중요한 문제로 부각되고 있습니다. 혐오스러운 밈을 감지하기 위해서는 시스템이 시각적 및 텍스트 모달리티를 함께 이해해야 합니다. 우리의 연구 결과에 따르면, 기존의 CLIP 기반 시스템의 임베딩 공간은 올바른 혐오성 분류에 필수적인 미묘한 차이에 대해 민감도가 부족함을 확인할 수 있었습니다. 우리는 검색 유도 대조 학습을 통해 혐오성 인식 임베딩 공간을 구축하는 방법을 제안합니다. 이 접근법은 HatefulMemes 데이터셋에서 AUROC 87.0의 성능을 달성하여, 훨씬 더 큰 다중 모달 모델보다 우수한 결과를 보여주었습니다. 우리는 훈련 데이터에 포함되지 않은 정보를 바탕으로 혐오성을 식별할 수 있는 검색 기반의 혐오스러운 밈 감지 시스템을 소개합니다. 이는 개발자가 새로운 예제를 단순히 추가하는 것만으로 혐오스러운 밈 감지 시스템을 업데이트할 수 있게 하며, 인터넷 상에서 끊임없이 진화하는 혐오스러운 밈 환경에서 실제 서비스에 필요한 특징입니다.