의미 빈도 프롬프트

의미론적 빈도 프롬프트는 2023년 11월 베이징 대학교, 시드니 대학교 및 저장 대학교가 공동으로 제안한 지식 정제의 빈도 영역 분석을 위한 새로운 개념입니다. 관련 논문 결과는 다음과 같습니다.FreeKD: 의미 빈도 프롬프트를 통한 지식 추출".

의미적 빈도 단서는 주파수 대역과 상호 작용하여 픽셀 모방 원리를 결정하고, 교사 모델을 미세 조정할 때 의미적 빈도 맥락을 흡수하고, 학생 모델이 교사의 주파수 대역을 재구성할 수 있도록 정확한 지침을 제공하며, 밀도 예측 과제를 위한 지식 정제에서 핵심적인 역할을 합니다. 이 연구는 주파수 영역에서의 분석과 선택적 학습을 통해 기존 공간 영역 방법의 한계를 해결하고 지식 정제에 대한 새로운 관점을 제공하는 것을 목표로 합니다.

주요 기능은 다음과 같습니다.

• 관심 픽셀(PoI) 마스크 생성: 큐와 주파수 대역 간의 유사성을 인코딩하여 픽셀 수준 주파수 마스크를 생성하여 다양한 주파수 대역에서 주요 픽셀을 찾습니다.

• 학생 모델의 주파수 영역 학습 안내: 이러한 마스크를 통해 학생 모델은 저주파 대역의 중복 정보나 고주파 대역의 노이즈를 직접 모방하지 않고도 교사 모델의 주파수 특성을 더욱 정확하게 모방할 수 있습니다.