基于卷积图像采集的高效神经视觉系统

尽管近年来深度学习取得了显著进展，但先进方法仍存在计算资源消耗巨大的问题。在精度与计算时间、能耗之间存在的权衡，限制了其在低功耗及其他资源受限系统中的实时应用。本文针对这一根本性挑战，提出了一种基于光学成像系统点扩散函数（Point Spread Function, PSF）工程设计的卷积神经网络（Convolutional Neural Network, CNN）混合光学-数字实现方案。通过编码成像孔径，使系统的PSF能够模拟预先训练好的CNN第一层中大型卷积核的响应特性。由于卷积运算在光学域中完成，其能量消耗为零，且与卷积核大小无关，具备零延迟的特性。在两个数据集上的实验结果表明，该方法在保持接近当前最先进水平的准确率的同时，将计算成本降低了两个数量级以上；或在相同计算成本下实现了更优的识别精度。