2 个月前
FiLM:使用通用条件层进行视觉推理
Ethan Perez; Florian Strub; Harm de Vries; Vincent Dumoulin; Aaron Courville

摘要
我们介绍了一种适用于神经网络的通用调节方法,称为FiLM(Feature-wise Linear Modulation,特征级线性调制)。FiLM层通过基于调节信息的简单特征级仿射变换来影响神经网络的计算。我们展示了FiLM层在视觉推理任务中具有很高的有效性——这类任务需要多步骤、高层次的处理过程,而传统的深度学习方法由于没有显式建模推理过程,在此类任务上表现不佳。具体而言,我们在视觉推理任务中证明了FiLM层可以:1)将CLEVR基准测试的最先进错误率降低一半;2)以连贯的方式调制特征;3)对消融实验和架构修改具有鲁棒性;4)从少量示例甚至零样本中很好地泛化到具有挑战性的新数据。