TinyTracker：面向眼动估计的超高速、超低功耗边缘视觉感算一体技术

智能边缘视觉任务面临的关键挑战在于，在边缘平台通常承受较高计算负载的情况下，如何保障功耗与延迟的高效性。本文利用索尼公司推出的首批“传感器内AI”（AI in sensor）视觉平台之一——IMX500，实现了超快速、超低功耗的端到端边缘视觉应用。以瞳孔追踪（gaze estimation）为例，我们对IMX500平台进行了评估，并与谷歌Coral Dev Micro及索尼Spresense等其他边缘平台进行了对比分析。为此，本文提出TinyTracker，一种专为2D瞳孔追踪设计的高度高效、全量化神经网络模型，旨在最大化本研究所考虑的边缘视觉系统的性能表现。与iTracker [1]相比，TinyTracker在实现全量化后模型体积缩小了41倍（降至600KB），同时在瞳孔追踪精度上仅损失极小（全量化状态下最大误差为0.16厘米）。将TinyTracker部署于索尼IMX500视觉传感器后，系统实现端到端延迟约为19毫秒。其中，摄像头完成像素读取、处理并传输至加速器耗时约17.9毫秒，神经网络推理耗时0.86毫秒，另需0.24毫秒从传感器中获取结果。整个端到端系统的总能耗为4.9毫焦耳（mJ），其中推理部分仅消耗0.06毫焦耳。实验结果表明，IMX500在性能上较Coral Dev Micro快1.7倍（19ms vs 34.4ms），且能效提升达7倍（4.9mJ vs 34.2mJ），充分验证了其在低功耗、低延迟边缘视觉应用中的显著优势。