无ADC存内计算硬件与脉冲神经网络的软硬件协同设计

脉冲神经网络（Spiking Neural Networks, SNNs）是一类具有生物合理性（bio-plausible）的模型，在资源受限的边缘设备上实现高效能的序列任务处理方面展现出巨大潜力。然而，基于标准GPU的商用边缘平台并未针对SNN的部署进行优化，导致其在能耗和延迟方面表现不佳。尽管模拟型存内计算（In-Memory Computing, IMC）平台可作为高效的推理引擎，但其性能常被高精度模数转换器（High-Precision Analog-to-Digital Converters, HP-ADC）带来的巨大能耗、延迟和面积开销所抵消，从而削弱了存内计算的优势。为此，本文提出一种软硬件协同设计方法，将SNN部署于无模数转换器（ADC-Less）的IMC架构中，利用感测放大器（sense-amplifiers）作为1位ADC替代传统HP-ADC，有效缓解上述问题。所提出的框架通过硬件感知训练（hardware-aware training）策略，实现了极小的精度损失，并能够从简单的图像分类任务拓展至更复杂的序列回归任务。在光流估计与手势识别等复杂任务上的实验表明，随着SNN训练过程中逐步增强硬件感知能力，模型能够自适应并学习由无ADC IMC架构中非理想特性所引入的误差。此外，与采用HP-ADC的IMC架构相比，所提出的ADC-Less IMC在能耗和延迟方面分别实现2–7倍和8.9–24.6倍的显著提升，具体增益取决于SNN模型结构与任务负载。