ISyNet：面向AI加速器的卷积神经网络设计

近年来，深度学习在诸多实际问题中取得了显著成果，涵盖计算机视觉、自然语言处理、语音识别等多个领域。多年来，研究的主要目标一直是提升模型的性能，即使其复杂度高得难以实际应用。然而，在需要实时运行的生产级解决方案中，模型的延迟（latency）起着至关重要的作用。当前最先进的模型架构大多通过神经架构搜索（Neural Architecture Search, NAS）获得，并在设计时考虑了模型复杂度。然而，针对特定硬件构建合适的搜索空间仍是极具挑战性的任务。为应对这一问题，本文提出了一种衡量神经架构搜索空间硬件效率的新指标——矩阵效率度量（Matrix Efficiency Measure, MEM）；构建了一个包含硬件高效操作的搜索空间；提出了一种考虑延迟的模型缩放方法；并设计了ISyNet——一组专为专用神经处理单元（Neural Processing Unit, NPU）硬件优化的架构，兼具高速与高精度特性。实验结果表明，所设计的ISyNet架构在ImageNet数据集上展现出对NPU设备的显著性能优势，并在下游的图像分类与目标检测任务中表现出良好的泛化能力。