SalNAS：基于自知识蒸馏的高效显著性预测神经架构搜索

近期在深度卷积神经网络方面的进展显著提升了显著性预测的性能。然而，手动配置神经网络架构仍需要领域专业知识，并且可能耗时且容易出错。为了解决这一问题，我们提出了一种新的用于显著性预测的神经架构搜索（NAS）框架，该框架包含两项贡献。首先，构建了一个包含所有候选架构的权重共享网络的显著性预测超网络，通过在超网络的编码器-解码器中集成动态卷积，称为SalNAS。其次，尽管SalNAS具有高效率（2098万个参数），但其泛化能力可能不足。为此，我们提出了一种自知识蒸馏方法，称为Self-KD，该方法使用地面真值和教师模型预测之间的加权平均信息来训练学生SalNAS。教师模型虽然与学生模型共享相同的架构，但包含了通过交叉验证选择的最佳权重。Self-KD可以在无需计算教师模型梯度的情况下实现良好的泛化效果，从而构建高效的训练系统。通过利用Self-KD，SalNAS在七个基准数据集中的大多数评估指标上优于其他最先进的显著性预测模型，并且是一个轻量级模型。代码将在https://github.com/chakkritte/SalNAS 上提供。