LayerCake: 在大型语言模型层中进行 Token 意识对比解码

大型语言模型（LLMs）在自然语言理解和生成方面表现出色，但仍然容易出现事实错误，这限制了它们在知识密集型任务中的可靠性。尽管解码时策略提供了一种无需训练的高效解决方案，现有的方法通常孤立地处理词元级和层级信号，忽略了它们之间的联合动态。在这项工作中，我们提出了一种词元感知、层局部化的对比解码方法，该方法通过将特定类型的词元与其最具影响力的变压器层对齐来提高事实生成的准确性。通过经验性的注意力分析，我们发现了两个关键模式：标点符号词元在早期层中受到主导关注，而概念性词元则在中间层中主导语义推理。通过选择性地抑制这些词元类型在其相应深度的注意力，我们实现了受控的事实退化，并从中推导出对比信号以指导最终的事实解码。我们的方法不需要额外的训练或模型修改，实验结果表明，该方法在多个大型语言模型和各种基准测试中持续提高了事实准确性。