语义频率提示 Semantic Frequency Prompt

语义频率提示 (Semantic Frequency Prompt) 是由北京大学、悉尼大学、浙江大学于 2023 年 11 月联合提出的一个用于知识蒸馏 (Knowledge Distillation) 中的频率域分析的新概念。相关论文成果为「FreeKD: Knowledge Distillation via Semantic Frequency Prompt」。

语义频率提示通过与频率带交互确定像素模仿原则，在微调教师模型时吸收语义频率上下文 ，为学生模型重构教师频率带提供精确指导，在密集预测任务的知识蒸馏中发挥关键作用。旨在通过频率域的分析和选择性学习，解决传统空间域方法的局限性，为知识蒸馏提供了新的视角。

其主要作用包括：

• 生成兴趣像素 (PoIs) 掩码：通过编码提示与频率带之间的相似性，生成像素级的频率掩码，定位不同频率带中的关键像素。

• 指导学生模型的频率域学习：通过这些掩码，学生模型可以更精准地模仿教师模型的频率特征，避免直接模仿低频带中的冗余信息或高频带中的噪声。