一句话总结

哥伦比亚大学提出了一种极简视觉系统，将自由形式像素相机建模为神经网络的第 1 层。训练过程能够发现由光电探测器和光学掩模实现的像素形状，证明 8 像素相机能够在保持隐私并支持自供电工作的情况下，达到传统高分辨率系统的性能。

核心贡献

• 该极简视觉系统将自由形式像素建模为神经网络的第 1 层。这些像素由光电探测器和光学掩模实现，训练过程可为目标视觉任务确定像素形状。

• 研究设计了用于室内空间监测、房间照明测量和交通流估计的 8 像素极简相机，其性能与使用数量级更多像素的传统相机相当。

• 仿真表明，自由形式像素相机无法支持有意义的人脸识别。少量像素能够收集入射光，为读出和无线传输测量提供能量，无需外部电源或电池。

引言

作者关注“轻量级视觉”任务，例如占用计数、区域监测、交通流、照明估计和门状态检测。这些任务需要的是场景统计信息，而不是详细图像。传统相机捕获的视觉信息远超这些任务所需，带来隐私风险，并通过像素读出、模数转换、处理和传输消耗大量功率。以往以隐私为重点的相机、光学计算系统和单像素相机通常仍然使用大量像素、重建图像，或者只是减少推理计算，而不是最小化任务所需的测量数量。其主要贡献是极简视觉系统。该系统使用自由形式像素，每个像素由光学掩模和光电探测器构成，从而形成少量富含信息的线性投影。通过将相机像素和推理网络作为一个单一神经网络进行训练，第 1 层成为实际制造出的相机设计。该原型仅使用少量像素完成这些任务，并仅利用环境光供电和无线读出。

方法

作者将自由形式像素作为极简相机的基本传感元件。自由形式像素由置于光电探测器前方的任意光学掩模组成，因此该像素记录入射场景的学习加权求和，而不是固定方形区域。掩模由透射函数 $M(x,y)$M(x,y) 描述，其中 $0 \leq M(x,y) \leq 1$0≤M(x,y)≤1。如果将探测器建模为无限小，其测量值为

$$p = \iint_{x,y} I(x,y) M(x,y) \, dx \, dy,$$p=∬x,y​I(x,y)M(x,y)dxdy,

其中 $I(x,y)$I(x,y) 是场景到掩模平面的投影。该公式表明，每个自由形式像素实现对场景的线性投影，因此此类像素集合可以被解释为面向特定任务视觉系统的第 1 个线性层。参见框架图。

由于自由形式像素执行线性投影，作者将整个相机模型嵌入网络中。光学掩模构成不带偏置项的全连接层，其输出传递给下游推理网络，以产生最终任务预测。在开发阶段，传统相机捕获训练场景，并使用任务标签对光学与数字组合系统进行端到端优化。训练完成后，学习得到的掩模权重可以被制造成物理掩模，例如打印到透明胶片上。在这种表述中，传统方形像素是一种特例，其中每个掩模都是固定箱函数。当测量预算受限时，学习得到的自由形式掩模可以将传感能力集中于与任务相关的信息。

该方法的一个关键部分是，第 1 层不被视为无约束线性层。掩模透射率必须具有物理可行性，探测器具有方向响应和有限感光面积，其输出还会受到增益、噪声和饱和影响。作者将这些效应纳入训练过程，使学习到的掩模能够部署到真实硬件上。如下所示。

探测器方向响应由 $d(x,y)$d(x,y) 建模，有限感光面积通过用核 $b(x,y)$b(x,y) 对场景辐照度进行模糊来建模。到达探测器的光能量随后为

$$p_d = \iint_{x,y} \left(I(x,y) * b(x,y)\right) M(x,y) d(x,y) \, dx \, dy.$$pd​=∬x,y​(I(x,y)∗b(x,y))M(x,y)d(x,y)dxdy.

为了将可训练掩模限制在 0 和 1 之间，作者定义 $M(x,y) = \sigma(M_t(x,y))$M(x,y)=σ(Mt​(x,y))，其中 $\sigma$σ 为 sigmoid 函数，$M_t(x,y)$Mt​(x,y) 为可训练掩模参数。探测器级由增益 $G$G、读出噪声 $n_r$nr​ 和量化噪声 $n_q$nq​ 建模：

$$p_n = G p_d + n_r + n_q.$$pn​=Gpd​+nr​+nq​.

由于真实探测器会饱和，作者应用软裁剪操作，以在训练期间保留梯度：

$$p_f = \begin{cases} p_n, & p_n \leq p_{\max},\\ \alpha (p_n - p_{\max}) + p_{\max}, & p_n > p_{\max}, \end{cases}$$pf​={pn​,α(pn​−pmax​)+pmax​,​pn​≤pmax​,pn​>pmax​,​

其中 $p_{\max}$pmax​ 是探测器饱和上限，$\alpha$α 是较小的正斜率。得到的值 $p_f$pf​ 是一个自由形式像素的物理输出，并作为推理网络的输入。这种可微分传感器模型非常重要，因为有限动态范围等硬件效应会显著影响最终学习到的像素形状。

因此，训练流程将相机和分类器视为单一优化系统。掩模参数通常使用均匀噪声初始化，网络使用交叉熵等任务损失进行优化。对于计数或分类任务，推理网络可以是直接对像素输出进行运算的小型前馈网络。传统低分辨率相机可以作为基线，因为它对应于相同架构，只是掩模固定为方形。相比之下，学习得到的自由形式像素使用连续而不规则的透射模式，能够更紧凑地编码任务。参见示例结果。

在合成计数示例中，作者训练包含不同数量自由形式像素的极简相机。所学习的四像素配置达到与大得多的传统像素阵列相当的准确率，体现了核心设计目标：仅使用任务所需的少量光学测量。所学习的掩模还表明，优化过程如何发现对下游推理网络具有信息价值的空间区域。

硬件实现遵循相同的光学和电气模型。作者构建了包含小型光电二极管阵列的极简相机，每个自由形式像素对应一个探测器。学习得到的掩模打印在单层透明胶片上，并放置在探测器阵列前方。每个探测器电流通过跨阻放大器转换为电压，模拟输出由微控制器多路复用并数字化，随后无线传输测量值。在开发和比较过程中，传统相机与原型共同部署，而极简相机仅捕获少量学习得到的投影。硬件实现如下图所示。

由于相机仅产生少量测量值，读出和无线传输所需功率非常低。因此，原型能够采用能量收集方式运行，而不需要电池或有线电源。相机机身表面的太阳能电池板为超级电容充电，使其能够在室内照明条件下持续工作。这种无电池能力自然源于极简传感策略，因为更少像素会同时降低传感负担和能量需求。工作演示如下图所示。

实验

实验使用自由形式像素评估极简相机，包括合成图块计数任务以及若干真实轻量级视觉应用，涵盖工作区监控、房间照明估计和车速估计。与传统相机相比，学习得到的自由形式像素能够以少得多的像素完成定向传感任务，并且不需要传统高分辨率图像。工作区监控结果还表明，压缩后的测量无法支持有意义的人脸识别，从而支持隐私友好型运行。