Semantische Frequenzaufforderung

Semantic Frequency Prompt ist ein neues Konzept für die Frequenzbereichsanalyse in der Wissensdestillation, das im November 2023 gemeinsam von der Peking-Universität, der Universität Sydney und der Zhejiang-Universität vorgeschlagen wurde. Die relevanten Ergebnisse der Studie sind:FreeKD: Wissensdestillation mittels semantischer Frequenzeingabe".

Semantische Frequenzhinweise bestimmen das Pixelimitationsprinzip durch Interaktion mit Frequenzbändern, absorbieren den semantischen Frequenzkontext bei der Feinabstimmung des Lehrermodells, bieten dem Schülermodell präzise Anleitungen zur Rekonstruktion der Frequenzbänder des Lehrers und spielen eine Schlüsselrolle bei der Wissensdestillation für dichte Vorhersageaufgaben. Ziel ist es, die Einschränkungen herkömmlicher Methoden im räumlichen Bereich durch Analyse und selektives Lernen im Frequenzbereich zu überwinden und so eine neue Perspektive für die Wissensdestillation zu bieten.

Zu seinen Hauptfunktionen gehören:

• Erstellen Sie Masken für Pixel von Interesse (PoIs): Erstellen Sie Frequenzmasken auf Pixelebene, um Schlüsselpixel in verschiedenen Frequenzbändern zu lokalisieren, indem Sie die Ähnlichkeiten zwischen Hinweisen und Frequenzbändern kodieren.

• Anleitung zum Lernen im Frequenzbereich des Schülermodells: Durch diese Masken kann das Schülermodell die Frequenzeigenschaften des Lehrermodells genauer nachahmen und so die direkte Nachahmung redundanter Informationen im Niederfrequenzband oder des Rauschens im Hochfrequenzband vermeiden.