11 天前

IFQ-Net:面向嵌入式视觉的集成定点量化网络

Hongxing Gao, Wei Tao, Dongchao Wen, Tse-Wei Chen, Kinya Osa, Masami Kato
IFQ-Net:面向嵌入式视觉的集成定点量化网络
摘要

在深度学习网络取得巨大成功之后,如何在嵌入式设备上部署深度模型一直是一个极具挑战性的问题。固定点网络通过使用低比特定点数表示数据,显著降低了内存占用,因此通常被优先采用。尽管当前的固定点网络普遍采用较低的位宽(如8比特),其内存节省效果对于资源受限的嵌入式设备而言仍显不足。另一方面,量化深度网络(如XNOR-Net和HWGQNet)将数据量化至1或2比特,实现了更显著的内存节省,但其内部仍保留大量浮点数运算数据。本文提出一种面向嵌入式视觉任务的固定点网络,通过将量化网络中的浮点数数据转换为定点数表示。为进一步缓解转换过程中的数据损失问题,我们提出将跨多层的浮点数运算操作(如卷积层、批归一化层和量化层)进行联合处理,并整体转换为定点数形式。通过这种集成式转换方法所获得的固定点网络,我们称之为集成固定点量化网络(Integrated Fixed-point Quantization Networks, IFQ-Net)。实验结果表明,在保持ImageNet上相近精度的前提下,IFQ-Net分别实现了模型尺寸2.16倍和运行时特征图内存18倍的显著压缩。基于YOLOv2架构,我们进一步设计了IFQ-Tinier-YOLO人脸检测器,该模型为纯定点网络,其模型尺寸相比Tiny-YOLO减少了256倍(从原120MB降至246KB),大幅降低了存储与计算开销。在人脸检测数据集与基准测试(FDDB)上,我们的检测器展现出优异的检测率;同时,在Wider Face数据集上,对小尺寸人脸的检测结果也表现出良好的定性效果,验证了该方法在实际应用中的潜力。

IFQ-Net:面向嵌入式视觉的集成定点量化网络 | 最新论文 | HyperAI超神经