LongWriter: 長いコンテキスト LLM の 10,000 以上の単語生成機能を解放する

1. チュートリアルの概要

LongWriter は、清華大学データ マイニング研究グループ (THUDM) によって開発されたオープン ソース プロジェクトであり、ロング コンテキストの大規模言語モデル (LLM) を使用して超長テキスト (10,000 ワード以上) を生成します。 このプロジェクトは、非常に長いテキストを生成する際の現在の大規模言語モデルの制限を克服し、生成されたコンテンツが長いテキストにわたって一貫性と関連性を維持できるようにすることを目的としています。 LongWriter は、文学創作、学術論文、ニュースレポートなどを含むがこれらに限定されない、さまざまなタイプの長文テキスト生成タスクに適応できます。この多様性により、LongWriter は実際のアプリケーションでより広く適用可能になります。

2. 操作手順

コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

プロンプトを設定してモデルとの会話を続けることを選択したり、サンプリング パラメーターを調整することを選択したりできます。

• 最大長(入力 + 出力): 入力と出力の最大コンテキスト長
• 上 P: たとえば、p=0.9 の場合、累積確率が 0.9 未満である他の単語は考慮せずに、累積確率が 0.9 である単語の最小セットから単語のみを選択します。これにより、不適切な単語や無関係な単語のサンプリングを回避できると同時に、興味深い単語や創造的な単語も保持できます。
• 温度: 温度 [0,1] は、生成のランダム性を制御します。温度が高いほど、ランダム性は高くなります。温度が低いほど、ランダム性は低くなります。

たとえば、下の写真

「送信」をクリックしてモデルの出力結果を確認します。