현실 세계의 문제에 대해 수동적인 인구 집계는 불가능하거나 극도로 부정확한 결과를 초래한다. 이를 해결하기 위해 딥러닝 기법이 활용되고 있다. 인구 집계는 계산적으로 매우 부담스러운 작업이며, 높은 정확도를 달성하기 위해 많은 모델들이 대규모 딥 컨볼루션 신경망(CNN)을 사용한다. 그러나 이러한 접근 방식은 성능과 추론 속도 측면에서 큰 희생을 수반한다. 이는 실세계 환경, 예를 들어 사물인터넷(IoT) 기기에서의 적용을 어렵게 만든다. 이러한 문제를 해결하기 위해, 가지치기(pruning)와 정밀도 저하(quantization)를 활용한 모델 압축 또는 경량 모델 백본(lightweight model backbones) 사용이 시도되고 있다. 그러나 이러한 방법들은 종종 정확도의 큰 손실을 초래한다. 이를 극복하기 위해 일부 연구에서는 최신의 대규모(교사, teacher) 모델로부터 유용한 정보를 추출하여 소규모(학생, student) 모델을 지도하거나 훈련시키는 지식 증류(knowledge distillation) 기법을 탐색했다. 그러나 기존의 지식 증류 방법은 힌트 변환기(hint-transformers)로 인한 정보 손실 문제를 겪으며, 교사 모델이 학생 모델에 부정적인 영향을 미칠 수도 있다. 본 연구에서는 이러한 문제를 해결하기 위해, 자기 변환된 힌트(self-transformed hints)와 이상치(outliers)를 무시하는 손실 함수를 활용한 지식 증류 기반의 새로운 방법을 제안한다. 제안된 방법을 통해 JHU-CROWD++ [1] 테스트 세트를 기준으로 MAE(평균 절대 오차) 77.24, MSE(평균 제곱 오차) 276.17의 성능을 달성하였다. 이는 최신의 딥러닝 기반 인구 집계 모델과 비슷한 수준의 정확도를 보이지만, 원래 모델의 크기와 복잡성의 일부분만으로 달성되었으며, 결과적으로 IoT 기기와 같은 제한된 환경에서도 활용 가능한 솔루션을 제공한다. 소스 코드는 다음 링크에서 확인할 수 있다: https://github.com/huangzuo/effcc_distilled.