LongWriter : exploitez la puissance de génération de plus de 10 000 mots du LLM à contexte long

1. Introduction au tutoriel

LongWriter est un projet open source développé par le groupe de recherche sur l'exploration de données de l'université Tsinghua (THUDM) qui génère des textes très longs (plus de 10 000 mots) à l'aide d'un modèle de langage étendu à contexte long (LLM). Le projet vise à surmonter les limites des grands modèles linguistiques actuels dans la génération de textes très longs et à garantir que le contenu généré reste cohérent et pertinent dans les textes longs. LongWriter peut s'adapter à différents types de tâches de génération de textes longs, y compris, mais sans s'y limiter, la création littéraire, les articles universitaires, les reportages d'actualité, etc. Cette diversité rend LongWriter plus largement applicable dans les applications pratiques.

2. Étapes de l'opération

Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

Vous pouvez choisir de définir l'invite, puis de continuer à parler au modèle, en ajustant éventuellement les paramètres d'échantillonnage.

• Longueur maximale (entrée + sortie) : longueur maximale du contexte d'entrée et de sortie
• Top P : Par exemple, si p=0,9, nous sélectionnons uniquement un mot du plus petit ensemble de mots dont la probabilité cumulée atteint 0,9, et ignorons les autres mots dont la probabilité cumulée est inférieure à 0,9. Cela évite d’échantillonner des mots inappropriés ou non pertinents tout en conservant certains mots intéressants ou créatifs.
• Température : Température [0,1], contrôle le caractère aléatoire des données générées. Plus la température est élevée, plus le caractère aléatoire est grand. Plus la température est basse, moins le caractère aléatoire est important.

Par exemple, la figure suivante

Cliquez sur Soumettre pour voir les résultats de sortie du modèle