在当前大语言模型（LLM）迅猛发展的时代，尽管硬件性能不断提升，模型推理速度却仍受制于一个关键瓶颈：数据在系统内存与GPU显存之间频繁传输，导致计算单元大量闲置。这一“内存墙”问题严重拖慢了生成效率，成为制约AI应用体验的核心障碍。 为突破这一瓶颈，Nvidia的研究团队提出了一种全新架构——TiDAR（Think in Diffusion, Talk in Autoregression），意为“以扩散思维思考，以自回归方式表达”。该模型巧妙融合了两种看似对立的设计范式：扩散模型的并行生成能力与自回归模型的高准确性。 TiDAR的核心在于其三段式输入结构：历史文本 + 待填充的[MASK]标记 + 草稿序列。在处理时，模型分为两个并行组件： “说话”部分（自回归验证器）：负责对前一轮生成的草稿进行即时验证。与传统模型逐字生成不同，TiDAR可一次性验证多个草稿。例如，输入“the cat sat”后，模型可同时判断“on”和“the”是否合理。通过因果注意力机制，它能确保每个词仅依赖其前序内容，从而在一次前向传播中完成多步验证。若草稿错误（如“in pizza”），模型可直接从概率分布中选出最可能的词（如“on”），并舍弃后续错误内容，实现“零延迟纠错”。 “思考”部分（扩散草稿器）：在验证的同时，利用双向注意力机制，对[MASK]位置进行并行填充。它不依赖外部小模型，而是由主干网络自身生成高质量草稿，例如预测“on the”之后最可能的词组“red mat”。这种设计避免了传统推测解码中因小模型能力不足而导致的高拒绝率和资源浪费。 两个组件形成持续循环：草稿生成 → 验证修正 → 下一轮草稿。整个过程使GPU始终处于满载状态，显著提升吞吐量。 实验表明，TiDAR在速度上实现质的飞跃，单次前向传播可生成约60个token而几乎不增加延迟。在质量方面，其表现接近传统自回归模型，远超纯扩散模型的语义连贯性缺陷。与EAGLE-3等推测解码方案相比，TiDAR无需依赖外部模型，草稿质量更高，计算效率更优。 更重要的是，TiDAR实现了“免费token”——在不增加延迟的前提下，大幅扩展生成规模。这标志着大模型推理正从“串行等待”迈向“并行高效”的新阶段。 TiDAR不仅是一次技术突破，更揭示了一个未来方向：通过架构创新，让AI模型真正实现“快而准”的完美平衡。