RedGPT: 참조 정보로 강화된 대화 생성 모델

RedGPT(참조-계몽-대화 GPT) 이는 참조 정보로 강화된 대화 생성 모델입니다.

우리 모두가 알다시피, 사실적 정확성은 ChatGPT의 가장 큰 약점이며 ChatGPT를 재현하려는 모든 동료가 직면한 큰 과제입니다. 사실의 정확성을 높이기 위해 대량의 사실적 대화 데이터(사람, 기술, 의료, 법률, 예술 등)에 주석을 달아 GPT 모델을 세부 조정할 수 있습니다. 수동 주석의 값비싼 비용을 피하기 위해, 우리는 사실적 대화를 자동으로 생성하고 데이터의 일부를 공개적으로 사용할 수 있는 방법을 제안합니다. 우리가 공개한 첫 번째 데이터 배치(RedGPT-Dataset-V1-CN)에는 총 50,000개의 중국어 다중 라운드 대화가 포함되어 있습니다.

방법 소개

이 데이터 세트의 목표는 GPT를 훈련하고 사실적 정확성을 개선하기 위해 대규모의 고품질 사실 기반 다중 라운드 대화를 자동으로 생성하는 것입니다.

다음 방법을 사용하여 자동으로 데이터를 생성합니다.

1. 우리는 참고문헌이라 불리는 고품질의 사실적 문서를 수집합니다. 출처로는 전자책, 위키피디아, 고품질 수직 웹사이트 등이 있습니다. 문서에는 사람, 기관, 기술, 의료, 법률, 인문학, 경제, 가정, 자동차, 여행, 음식, 패션, 스포츠, 교육, 반려동물 등 가능한 한 많은 주제를 다루어야 합니다.
2. 기존 LLM(유료 API 등)을 사용하여 다중 턴 대화를 생성합니다. 입력은 참조이고, 프롬프트는 "이 기사를 바탕으로 여러 라운드의 질문과 답변을 생성해 주세요"와 같습니다. API는 여러 차례의 대화를 출력합니다. 이 방법은 원래 사전 학습에만 적합했던 문서를 미세 조정이 가능한 여러 라운드 대화로 변환합니다.
3. 2단계에서는 다수의 참조-대화 다이어드를 수집합니다. 참조와 프롬프트를 입력으로 사용하고 대화를 대상으로 GPT 모델을 미세 조정합니다(LLaMA 또는 BLOOM의 사전 훈련된 기반을 기반으로 할 수 있음). 우리는 미세 조정 모델을 호출합니다 참고-계몽-대화 GPT,약어 레드GPT . RedGPT를 사용하면 참조를 기반으로 여러 라운드의 대화를 생성하고 엄청난 양의 데이터를 얻을 수 있습니다.

이 방법을 재현하려면 다음 2가지 핵심 사항에 유의하세요.

1. 참고문헌의 질과 폭. 참고 자료 콘텐츠의 품질은 높아야 합니다. 예를 들어, 의료 관련 고품질 수직 웹사이트의 페이지나 위키피디아의 이해하기 쉬운 항목 등이 해당되며, 웹 페이지를 정리해야 합니다. 참고 범위는 넓어야 하며 단일 수직 카테고리나 단일 웹사이트에 국한되어서는 안 됩니다.
2. 기존 LLM을 호출할 때는 프롬프트를 작성하고 다양한 프롬프트를 신중하게 시도하여 LLM이 생성하는 여러 라운드 대화가 기대에 부응하도록 해야 합니다.