다중모달 원격 감지 영상에서 객체 탐지를 위한 유도형 하이브리드 양자화: 일대일 자기학습을 통한 접근

계산 복잡도를 고려하여, 우리는 일대일 자기지도 학습을 통한 안내형 하이브리드 양자화(GHOST) 프레임워크를 제안한다. 구체적으로, 먼저 양자화와 지도 학습의 상호작용을 통해 경량화를 실현하는 혁신적인 아이디어인 안내형 양자화 자기소거(GQSD) 구조를 설계한다. 이 방법은 정밀도가 높은 모델(풀프리시전 모델)이 양자화 모델의 학습 과정을 안내함으로써, 사전에 방대한 사전 학습 모델을 준비할 필요 없이 시간과 비용을 절약할 수 있다. 둘째, 제약 조건 하에서 최적의 비트 폭을 자동으로 탐색하기 위해 하이브리드 양자화(HQ) 모듈을 제안한다. 이 제약 조건은 가중치 값 탐색 공간 내에서 중심점과 샘플 간의 분포 거리에 대한 임계값을 적용하는 방식이다. 셋째, 정보 전달 효율을 향상시키기 위해 일대일 자기지도 학습(OST) 모듈을 도입하여 학습자 네트워크가 자기 판단 능력을 갖도록 한다. 스위치 제어 기계(SCM)는 동일한 위치에 있는 학습자 네트워크와 강사 네트워크 사이를 연결하여, 강사가 잘못된 지도를 줄이고 핵심 지식을 학습자에게 전달하도록 돕는다. 이 지도 학습 방식은 추가적인 감독 없이도 모델이 스스로로부터 학습하고 상당한 성능 향상을 달성할 수 있도록 한다. 다양한 다중 모달 데이터셋(VEDAI) 및 단일 모달 데이터셋(DOTA, NWPU, DIOR)을 대상으로 한 광범위한 실험 결과, GHOST 기반 객체 탐지 기법이 기존 탐지기보다 뛰어난 성능을 보였다. 원격 감지 기반, 경량화 또는 지도 학습 기반 알고리즘들과 비교하여, 파라미터 크기(<9.7MB)와 비트 연산 수(BOPs, <2158G) 측면에서 경량 설계 분야에서의 우수성을 입증하였다. 본 연구의 코드와 모델은 https://github.com/icey-zhang/GHOST에서 공개될 예정이다.