확산 모델에서 생성된 합성 데이터가 지식 증류에 적합한가?

확산 모델은 최근에 고충실도의 사진 같은 이미지를 생성하는 데 있어 놀라운 성능을 달성하였습니다. 이러한 큰 성공에도 불구하고, 실제 이미지가 사용할 수 없는 경우 합성 이미지가 지식 증류에 적용될 수 있는지는 여전히 명확하지 않습니다. 본 논문에서는 최신 확산 모델에서 생성된 합성 이미지를 실제 이미지에 접근할 수 없는 상황에서 지식 증류에 어떻게 활용할 수 있는지 광범위하게 연구하였으며, 세 가지 주요 결론을 도출하였습니다: (1) 확산 모델로부터 생성된 합성 데이터는 기존의 합성 기반 증류 방법들 중에서 최고 수준의 성능을 쉽게 이룰 수 있으며, (2) 저충실도의 합성 이미지가 더 나은 교육 자료임을 확인하였고, (3) 상대적으로 약한 분류기가 더 나은 교사임을 발견하였습니다. 코드는 https://github.com/zhengli97/DM-KD 에서 제공됩니다.