LLMxMapReduce 长文本分帧处理框架

LLMxMapReduce 框架是由厦门大学与北京大学等 6 个机构于 2024 年联合提出的一种创新技术，旨在处理大语言模型 (LLMs) 中的长文本问题，相关论文成果为「LLM×MapReduce: Simplified Long-Sequence Processing using Large Language Models」。这项技术通过将长上下文切分为多个片段，允许模型并行处理多个片段，并从不同片段中提取关键信息，然后汇总成为最终的答案。 LLMxMapReduce 框架的核心优势在于其结构化通信协议和上下文置信度校准机制，这使得跨片段信息能够得到更有效的处理。

LLMxMapReduce 框架的提出，打破了大模型的记忆限制，理论上实现了「无限长」上下文的处理能力。这一技术对大模型长文本能力具有普遍增强作用，且在文本不断加长的情况下，仍能保持稳定性能、减少长文本的掉分情况。

此外，LLMxMapReduce 框架展现出较强的通用性，与 Qwen2-72B 和 MiniCPM3 结合使用时也取得了优异的成绩。这项技术的原理是受到大数据领域广泛应用的 MapReduce 框架的启发，充分利用了「分而治之」的理念，以避免大模型在处理超长文本时的局限性。通过这种方式，LLMxMapReduce 能够有效处理长文本，避免因切分导致的信息丢失或错误结论，从而提高最终结果的准确性。