连续思维机器

生物大脑展现出复杂的神经活动，其中特定神经元之间的时序和相互作用对信息处理至关重要。而大多数深度学习架构通过抽象化方式简化了神经活动，忽略了时间动态。在本文中，我们对这一主流范式提出了挑战。通过引入神经元级别的处理和同步机制，我们有效地将神经时序作为一个基础要素重新纳入模型设计中。 我们提出了“连续思维机器”（Continuous Thought Machine，CTM），这是一种以神经动态为核心表示的新型模型。CTM包含两个核心创新：（1）神经元级别的时间处理机制，每个神经元使用独特的权重参数来处理其输入信号的历史信息；（2）将神经同步作为一种潜在表示加以利用。CTM旨在在提升计算效率的神经元抽象与生物学真实度之间取得平衡。它在一个抽象层次上运行，既能有效捕捉关键的时间动态，又保持了深度学习所需的计算可行性。 我们在一系列具有挑战性的任务中展示了CTM的强大性能和多样适应能力，包括 ImageNet-1K 图像分类、二维迷宫求解、排序、奇偶性计算、问答任务以及强化学习任务。除了展现出丰富的内部表征，并因其内部处理过程而具备天然的可解释性之外，CTM还能够完成需要复杂序列推理的任务。CTM 还能利用“自适应计算”机制：对于简单任务可提前停止计算，而面对更复杂的实例时则能持续运算。本研究的目标在于分享CTM及其相关创新，而非追求新的SOTA（最先进）结果。我们认为，CTM是朝着构建更符合生物学机制且更强大的人工智能系统迈出的重要一步。