LongWriter: Entfesseln Sie die über 10.000 Wörter umfassende Wortgenerierungsleistung von Long-Context LLM

1. Einführung in das Tutorial

LongWriter ist ein Open-Source-Projekt der Data Mining Research Group (THUDM) der Tsinghua University, das mithilfe eines Long-Context Large Language Model (LLM) sehr lange Texte (mehr als 10.000 Wörter) generiert. Das Projekt zielt darauf ab, die Einschränkungen aktueller großer Sprachmodelle bei der Generierung sehr langer Texte zu überwinden und sicherzustellen, dass der generierte Inhalt in langen Texten kohärent und relevant bleibt. LongWriter kann an verschiedene Aufgaben zur Generierung langer Texte angepasst werden, unter anderem an literarische Werke, wissenschaftliche Arbeiten, Nachrichtenberichte usw. Diese Vielseitigkeit macht LongWriter in der Praxis vielseitiger einsetzbar.

2. Bedienungsschritte

Klicken Sie nach dem Starten des Containers auf die API-Adresse, um zur Weboberfläche zu gelangen

Sie können die Eingabeaufforderung festlegen und dann weiter mit dem Modell kommunizieren und optional die Sampling-Parameter anpassen.

• Maximale Länge (Eingabe + Ausgabe): Eingabe plus Ausgabe, maximale Kontextlänge
• Top P: Wenn beispielsweise p = 0,9 ist, wählen wir nur ein Wort aus der kleinsten Menge von Wörtern aus, deren kumulative Wahrscheinlichkeit 0,9 erreicht, und ignorieren andere Wörter, deren kumulative Wahrscheinlichkeit kleiner als 0,9 ist. Dadurch wird vermieden, dass unpassende oder irrelevante Wörter verwendet werden, während gleichzeitig einige interessante oder kreative Wörter erhalten bleiben.
• Temperatur: Temperatur [0,1], steuert die Zufälligkeit der generierten Daten. Je höher die Temperatur, desto größer die Zufälligkeit. Je niedriger die Temperatur, desto geringer die Zufälligkeit.

Beispielsweise die folgende Abbildung

Klicken Sie auf „Senden“, um die Ergebnisse der Modellausgabe anzuzeigen.