7일 전
검색 증강 악성 멤 검출을 위한 대규모 다중모달 모델의 강건한 적응
Jingbiao Mei, Jinghong Chen, Guangyu Yang, Weizhe Lin, Bill Byrne

초록
증오 심성의 멤이 인터넷에서 중요한 문제로 대두되면서, 강력한 자동 탐지 시스템의 필요성이 절실해지고 있다. 최근 기존의 다중 모달 언어 모델(LMM)은 증오 멤이 탐지에 있어 희망적인 성과를 보여주었으나, 최적화되지 않은 성능과 도메인 외 일반화 능력의 제한성이라는 중요한 과제를 안고 있다. 또한 최신 연구들은 이러한 맥락에서 SFT(특화 학습) 및 컨텍스트 내 학습(in-context learning) 기법이 LMM에 적용될 때에도 한계를 지닌다는 점을 밝혀냈다. 이러한 문제를 해결하기 위해, 본 연구는 도메인 내 정확도와 도메인 간 일반화 능력을 향상시키면서도 LMM의 일반적인 시각-언어 능력을 유지하는 강력한 적응 프레임워크를 제안한다. 여섯 개의 멤 분류 데이터셋을 대상으로 한 실험 결과, 제안한 방법은 더 큰 에이전트 기반 시스템을 능가하는 최첨단 성능을 달성하였다. 더불어, 표준 SFT에 비해 증오적 콘텐츠를 설명하는 데 있어 품질이 높은 추론 과정을 생성함으로써 모델의 해석 가능성도 향상시켰다.