语义频率提示 Semantic Frequency Prompt
语义频率提示 (Semantic Frequency Prompt) 是由北京大学、悉尼大学、浙江大学于 2023 年 11 月联合提出的一个用于知识蒸馏 (Knowledge Distillation) 中的频率域分析的新概念。相关论文成果为「FreeKD: Knowledge Distillation via Semantic Frequency Prompt」。
语义频率提示通过与频率带交互确定像素模仿原则,在微调教师模型时吸收语义频率上下文 ,为学生模型重构教师频率带提供精确指导,在密集预测任务的知识蒸馏中发挥关键作用。旨在通过频率域的分析和选择性学习,解决传统空间域方法的局限性,为知识蒸馏提供了新的视角。
其主要作用包括:
- 生成兴趣像素 (PoIs) 掩码:通过编码提示与频率带之间的相似性,生成像素级的频率掩码,定位不同频率带中的关键像素。
- 指导学生模型的频率域学习:通过这些掩码,学生模型可以更精准地模仿教师模型的频率特征,避免直接模仿低频带中的冗余信息或高频带中的噪声。