LongWriter：释放长上下文 LLM 的 10,000+字生成能力

一、教程简介

LongWriter 是清华大学数据挖掘研究组（THUDM）开发的一个开源项目，使用长上下文大型语言模型（LLM）生成超长文本（超过 10,000 字）。 该项目旨在克服当前大型语言模型在生成超长文本方面的局限性，并确保生成的内容在长文本中保持连贯和相关。 LongWriter 可以适配多种类型的长文本生成任务，包括但不限于文学创作、学术论文、新闻报道等，这种多样性使得 LongWriter 在实际应用中适用性更加广泛。

二、运行步骤

启动容器后点击 API 地址即可进入 Web 界面

可以选择设置 prompt，然后继续与模型进行对话，可选择对采样参数进行调整，

• Maximum length(Input + Output)：输入加上输出最大上下文长度
• Top P： 例如 p=0.9，那么我们只从累积概率达到 0.9 的最小单词集合中选择一个单词，而不考虑其他累积概率小于 0.9 的单词。这样可以避免采样到一些不合适或不相关的单词，同时也可以保留一些有趣或有创意的单词。
• Temperature：温度 [0,1]，控制生成随机性，温度越高随机性越大，温度越低随机越低

例如下图

点击提交即可看到模型输出结果