RedGPT (参照啓発対話 GPT) 参考情報によって強化された対話生成モデルです。
誰もが知っているように、事実の正しさは ChatGPT の大きな弱点であり、ChatGPT を再現しようとするすべての同僚が直面する大きな課題です。事実の正確性を向上させるために、大量の事実に基づく会話データ (人物、テクノロジー、医療、法律、芸術など) に注釈を付けて GPT モデルを微調整できます。手動による注釈の高額なコストを回避するために、事実に基づいた会話を自動的に生成し、データの一部を公開する方法を提案します。私たちが公開したデータの最初のバッチ (RedGPT-Dataset-V1-CN) には、合計 50,000 の中国語のマルチターン会話が含まれています。
手法の紹介
このデータセットの目標は、GPT をトレーニングするための大規模で高品質な事実ベースのマルチターン会話を自動的に生成し、GPT の事実の精度を向上させることです。
データを自動的に生成するには、次の方法を使用します。
- 参照と呼ばれる高品質の事実文書を収集します。ソースには、電子書籍、ウィキペディア、高品質の垂直 Web サイトなどがあります。文書では、人、機関、テクノロジー、医療、法律、人文科学、経済、家庭、車、旅行、食品、ファッション、スポーツ、教育、ペットなどを含むがこれらに限定されない、できるだけ多くのトピックを取り上げる必要があります。
- 既存の LLM (有料 API など) を利用して、複数ラウンドの対話を生成します。入力は参照であり、プロンプトは「この記事に基づいて複数回の質問と回答を生成してください。」と似ています。 API は複数ターンのダイアログを出力します。このアプローチにより、事前トレーニングのみに適したドキュメントが、微調整可能な複数ターンの会話に変換されます。
- ステップ 2 では、多数の Reference-Dialogue ペアを収集します。 Reference と Prompt を入力として、Dialogue をターゲットとして使用して、GPT モデルを微調整します (LLaMA または BLOOM の事前トレーニング ベースに基づくことができます)。私たちは微調整モデルと呼びます リファレンス啓発対話 GPT、略語 レッドGPT 。 RedGPT を使用すると、リファレンスに基づいて複数回の対話を生成し、大量のデータを取得できます。
この方法を再現したい場合は、次の 2 つの重要な点に注意してください。
- リファレンスの質と広さ。参照コンテンツは、医療などの高品質の垂直型 Web サイトのページ、Wikipedia の珍しいエントリなど、高品質である必要があり、Web ページをクリーンアップする必要があります。参考資料の範囲は広くなければならず、単一のカテゴリまたは Web サイトに限定することはできません。
- 既存の LLM を呼び出す場合は、プロンプトを作成する必要があり、LLM によって生成される複数ラウンドの対話が期待どおりになるように、さまざまなプロンプトを注意深く試す必要があります。