Quantification hybride guidée pour la détection d'objets dans les images télescopiques multimodales via une auto-enseignement un-à-un

Compte tenu de la complexité computationnelle, nous proposons un cadre intitulé Guided Hybrid Quantization with One-to-one Self-Teaching (GHOST). Plus précisément, nous concevons tout d’abord une architecture appelée guided quantization self-distillation (GQSD), une approche innovante visant à réaliser une légerisation efficace grâce à la synergie entre la quantification et la distillation. Le processus d’entraînement du modèle quantifié est guidé par son modèle à précision pleine, ce qui permet d’économiser du temps et des ressources sans nécessiter de pré-entraîner un modèle volumineux à l’avance. Ensuite, nous introduisons un module de quantification hybride (HQ) afin d’obtenir automatiquement la largeur de bits optimale sous une contrainte, en appliquant un seuil sur la distance de distribution entre le centre et les échantillons dans l’espace de recherche des valeurs de poids. Enfin, afin d’améliorer la transformation d’information, nous proposons un module de self-teaching un-à-un (OST), qui confère au réseau étudiant la capacité d’auto-évaluation. Un mécanisme de commutateur contrôlé (SCM) établit un pont entre le réseau étudiant et le réseau enseignant à la même localisation, permettant à l’enseignant de réduire les guidages erronés et de transmettre des connaissances essentielles à l’étudiant. Cette méthode de distillation permet au modèle d’apprendre de lui-même et d’obtenir une amélioration significative sans supervision supplémentaire. Des expériences étendues sur un jeu de données multimodal (VEDAI) ainsi que sur des jeux de données monomodaux (DOTA, NWPU, DIOR) montrent que la détection d’objets basée sur GHOST surpassent les détecteurs existants. Les paramètres réduits (inférieurs à 9,7 Mo) et les opérations en bits (BOPs) (inférieurs à 2158 G) démontrent clairement l’avantage de GHOST dans le domaine de la conception léger, comparés à tout algorithme léger, basé sur la télédétection ou la distillation. Le code source et les modèles seront publiés sur https://github.com/icey-zhang/GHOST.