HyperAI超神经

LLMxMapReduce 长文本分帧处理框架

LLMxMapReduce 框架是由厦门大学与北京大学等 6 个机构于 2024 年联合提出的一种创新技术,旨在处理大语言模型 (LLMs) 中的长文本问题,相关论文成果为「LLM×MapReduce: Simplified Long-Sequence Processing using Large Language Models」。这项技术通过将长上下文切分为多个片段,允许模型并行处理多个片段,并从不同片段中提取关键信息,然后汇总成为最终的答案。 LLMxMapReduce 框架的核心优势在于其结构化通信协议和上下文置信度校准机制,这使得跨片段信息能够得到更有效的处理。

LLMxMapReduce 框架的提出,打破了大模型的记忆限制,理论上实现了「无限长」上下文的处理能力。这一技术对大模型长文本能力具有普遍增强作用,且在文本不断加长的情况下,仍能保持稳定性能、减少长文本的掉分情况。

此外,LLMxMapReduce 框架展现出较强的通用性,与 Qwen2-72B 和 MiniCPM3 结合使用时也取得了优异的成绩。这项技术的原理是受到大数据领域广泛应用的 MapReduce 框架的启发,充分利用了「分而治之」的理念,以避免大模型在处理超长文本时的局限性。通过这种方式,LLMxMapReduce 能够有效处理长文本,避免因切分导致的信息丢失或错误结论,从而提高最终结果的准确性。