意味頻度プロンプト

セマンティック フリークエンシー プロンプトは、2023 年 11 月に北京大学、シドニー大学、浙江大学が共同で提案した、知識蒸留における頻度領域分析の新しい概念です。関連する論文の結果はFreeKD: 意味頻度プロンプトによる知識の抽出”。

意味的周波数手がかりは、周波数帯域と相互作用することによってピクセル模倣原理を決定し、教師モデルを微調整するときに意味的周波数コンテキストを吸収し、教師の周波数帯域を再構築するための正確なガイダンスを学生モデルに提供し、高密度予測タスクの知識蒸留において重要な役割を果たします。周波数領域での分析と選択的学習を通じて従来の空間領域手法の限界に対処し、知識の蒸留に新たな視点を提供することを目的としています。

主な機能は次のとおりです。

• 関心ピクセル (PoI) マスクの生成: キューと周波数帯域の類似性をエンコードして、異なる周波数帯域内の主要なピクセルを特定することにより、ピクセルレベルの周波数マスクを生成します。

• 生徒モデルの周波数領域学習のガイド: これらのマスクにより、生徒モデルは教師モデルの周波数特性をより正確に模倣でき、低周波数帯域の冗長情報や高周波数帯域のノイズを直接模倣することを回避できます。