目前的大规模语言模型（LLM）都是自回归式的，这意味着它们生成文本时是从左到右，逐个字符进行的。这种生成方式本质上是顺序的——下一个字符只有在前一个字符生成后才能产生，而且每次生成一个字符都需要评估拥有数十亿参数的神经网络。前沿的LLM企业正在依赖测试时计算来提升推理能力和纠错能力，但这导致了高昂的推理成本和无法接受的延迟问题。为了使高质量的人工智能解决方案真正普及化，必须有一场范式革命。 扩散模型为这一变革提供了新的可能性。这些模型采用“由粗到细”的生成过程，从纯噪声开始，在几个“去噪”步骤中逐步优化输出。这种方法不受限于仅考虑之前的输出，因此在推理和构造回应方面更具优势。此外，由于能够持续优化输出，扩散模型可以有效纠正错误和想象。正是因为这些特点，扩散模型成为了最知名的人工智能视频、图像和音频生成解决方案的核心技术，包括Sora、Midjourney和Riffusion。 然而，将扩散模型应用于离散数据（如文本和代码）一直没有成功。直到最近，Inception Labs的研究团队取得了突破性进展。他们开发了一种创新的方法，使得扩散模型可以通过多次迭代逐步优化文本和代码的生成，从而在推理能力和错误纠正方面取得了显著进步。这项研究不仅解决了长期困扰LLM的实际应用问题，还大幅减少了生成文本和代码所需的时间和计算资源。 具体来说，Inception Labs的方法通过对初始噪声应用一系列去噪步骤，生成出初步的文本和代码片段，然后逐步优化这些片段，直至达到高质量的标准。与传统的自回归模型相比，这种方法在并行处理上的优势得以充分发挥，大大提高了生成效率。这意味着用户可以更快地获得更准确、更连贯的结果，而不会因为推理时间过长而导致使用体验下降。 Inception Labs成立于2015年，总部位于硅谷，是一家专注于人工智能技术研发的公司。公司在自然语言处理、计算机视觉和机器学习等领域拥有多项突破性成果。此次在扩散模型上的进展再次证明了公司的研发实力和技术前瞻性。业内专家对这一成果表示高度认可，认为这是LLM领域的一项重大突破，有望改变未来的人工智能应用场景。