RedOne: 소셜 네트워킹 서비스에서 도메인 특화 LLM 후 학습 공개

현대 정보 전달의 주요 매체로서 사회 네트워크 서비스(SNS)는 급속한 성장을 경험하면서 플랫폼 콘텐츠 관리와 상호작용 품질 개선에 대한 중요한 도전 과제를 제기하였습니다. 최근 대형 언어 모델(LLM)의 발전은 잠재적인 해결책을 제공하였지만, 기존 연구들은 단일 작업에 초점을 맞추고 있어 각 시나리오 내에서 데이터 확장으로 인한 혜택이 감소하는 문제뿐만 아니라 다양한 실제 상황에 유연하게 적응하지 못하는 한계가 있습니다. 이러한 도전 과제를 해결하기 위해, 우리는 단일 작업 베이스라인의 성능 한계를 극복하고 SNS에 대한 포괄적인 기반을 구축하기 위해 설계된 영역 특화 LLM인 RedOne를 소개합니다. RedOne은 대규모 실제 데이터셋을 사용하여 지속적인 사전 학습, 지도 학습 미세 조정, 선호도 최적화로 구성된 세 단계 학습 전략을 통해 개발되었습니다. 광범위한 실험을 통해 RedOne은 강력한 일반화 능력을 유지하며, 기본 모델과 비교하여 8개 주요 SNS 작업에서 평균 14.02%, SNS 이중 언어 평가 벤치마크에서 7.56%의 성능 향상을 달성하였습니다. 또한 온라인 테스트를 통해 RedOne은 유해 콘텐츠 검출에서 노출률을 11.23% 감소시키고, 게시글 뷰 검색에서 클릭 페이지 비율을 14.95% 향상시키는 등 단일 작업 미세 조정 베이스라인 모델과 비교하여 우수한 성능을 보였습니다. 이러한 결과는 RedOne이 SNS에 대한 견고한 영역 특화 LLM임을 입증하며, 다양한 작업에서 우수한 일반화 능력과 실제 상황에서의 유망한 적용 가능성을 보여줍니다.