Geführte hybride Quantisierung für die Objekterkennung in multimodalen Fernerkundungsbildern über ein-ein-ein- Selbstunterricht

Angesichts der Berechnungskomplexität schlagen wir einen Guided Hybrid Quantization with One-to-one Self-Teaching (GHOST)-Rahmen vor. Konkret entwerfen wir zunächst eine Struktur namens guided quantization self-distillation (GQSD), die eine innovative Herangehensweise darstellt, um leichte Modelle durch die Synergie von Quantisierung und Distillation zu realisieren. Der Trainingsprozess des quantisierten Modells wird durch sein volle-Präzisions-Modell geleitet, was zeitsparend und kosteneffizient ist, ohne dass im Voraus ein großes vortrainiertes Modell erforderlich ist. Zweitens führen wir ein hybrides Quantisierungsmodul (HQ) ein, das die optimale Bitbreite unter einer eingeschränkten Bedingung automatisch ermittelt, wobei ein Schwellenwert für den Abstand der Verteilung zwischen Zentrum und Stichproben im Suchraum der Gewichtswerte angewendet wird. Drittens schlagen wir ein one-to-one self-teaching (OST)-Modul vor, um die Informationsübertragung zu verbessern und dem Schülernetzwerk die Fähigkeit zur Selbstbewertung zu verleihen. Ein Switch-Control-Mechanismus (SCM) schafft eine Verbindung zwischen Schüler- und Lehrernetzwerk an derselben Stelle, um dem Lehrer zu helfen, falsche Anleitungen zu vermeiden und dem Schüler entscheidende Kenntnisse zu vermitteln. Diese Distillationstechnik ermöglicht es dem Modell, aus sich selbst zu lernen und signifikante Verbesserungen zu erzielen, ohne zusätzliche Überwachung zu benötigen. Umfangreiche Experimente auf einem multimodalen Datensatz (VEDAI) sowie auf einmodalen Datensätzen (DOTA, NWPU und DIOR) zeigen, dass Objekterkennung basierend auf GHOST die bestehenden Detektoren übertrifft. Die geringen Parameter (unter 9,7 MB) und Bit-Operationen (unter 2158 G) im Vergleich zu allen anderen auf Fernerkundung basierenden, leichten oder Distillation-basierten Algorithmen demonstrieren die Überlegenheit im Bereich der leichten Architektur. Unser Code und die Modelle werden unter https://github.com/icey-zhang/GHOST veröffentlicht.