100 PoisonMpts 중국 대규모 모델 거버넌스 데이터 세트

대규모 언어 모델(LLM)의 급속한 발전으로 인해 점점 더 많은 사람들이 그것이 가져올 수 있는 위험에 대해 걱정하기 시작했습니다. 그래서 대형 모델을 중심으로 한 '안전하고 단색'의 방향이 많은 주목을 받았습니다.

100PoisonMpts는 대규모 언어 모델 거버넌스를 위한 업계 최초의 오픈 소스 중국어 데이터 세트입니다. "AI를 위한 100병의 독"의 첫 번째 주석 엔지니어 그룹은 환경 사회학 전문가 판예차오, 유명 사회학자 리인허, 심리학자 리송웨이, 인권법 전문가 류샤오난을 포함한 12명 이상의 유명 전문가와 학자로 구성되었습니다.주석자들은 각자 편향되고 차별적인 답변을 유도하는 100개의 까다로운 질문을 하고, 대규모 모델의 답변에 주석을 달아 AI를 통한 "중독"에서 "해독"까지의 공격과 방어를 완료했습니다. 첫 번째 현장 데이터는 AI 차별 금지, 공감, 협의적 표현을 중심으로 이루어졌으며, 법학, 심리학, 아동 교육, 접근성, 잘 알려지지 않은 사실, 친밀한 관계, 환경적 공정성과 같은 차원을 다루었습니다. 여기에는 전문가가 제기한 질문과 전문가가 작성하거나 승인한 답변이 포함됩니다.

연구팀은 전문가 원칙에 기반한 대형 모델의 자체 정렬을 탐구했습니다. 구체적인 방법 및 실험 분석에 대해서는 기술 보고서 "전문가 원칙에 기반한 대형 모델의 자체 정렬"을 참조하십시오.링크

연구팀안전과 책임감이라는 두 가지 평가 기준에 따라중국의 대규모 모델 수준 가치를 평가하기 위한 벤치마크가 제안되었습니다.자세한 내용은 "CVALUES: 보안에서 책임까지 중국의 대규모 언어 모델의 가치 측정" 논문을 읽어보세요.링크