L'invite de fréquence sémantique est un nouveau concept d'analyse du domaine fréquentiel dans la distillation des connaissances proposé conjointement par l'Université de Pékin, l'Université de Sydney et l'Université du Zhejiang en novembre 2023. Les résultats pertinents de l'article sontFreeKD : distillation des connaissances via une invite de fréquence sémantique".

Les indices de fréquence sémantique déterminent le principe d'imitation des pixels en interagissant avec les bandes de fréquence, absorbent le contexte de fréquence sémantique lors du réglage fin du modèle de l'enseignant, fournissent des conseils précis au modèle de l'étudiant pour reconstruire les bandes de fréquence de l'enseignant et jouent un rôle clé dans la distillation des connaissances pour les tâches de prédiction denses. Son objectif est de répondre aux limites des méthodes traditionnelles du domaine spatial par l’analyse et l’apprentissage sélectif dans le domaine fréquentiel, offrant ainsi une nouvelle perspective pour la distillation des connaissances.

Ses principales fonctions comprennent :

• Générer des masques de pixels d'intérêt (PoI) : générer des masques de fréquence au niveau des pixels pour localiser les pixels clés dans différentes bandes de fréquences en codant les similitudes entre les indices et les bandes de fréquences.

• Guider l'apprentissage du domaine fréquentiel du modèle étudiant : Grâce à ces masques, le modèle étudiant peut imiter plus précisément les caractéristiques fréquentielles du modèle enseignant, évitant d'imiter directement les informations redondantes dans la bande basse fréquence ou le bruit dans la bande haute fréquence.