초록
본 논문에서는 동적 프리닝(dynamic pruning)을 활용한 지식 그래프 완성에 대한 자기-디스틸리이션 프레임워크인 메타 학습 기반 자기-디스틸리이션(MetaSD)을 제안한다. 이는 압축된 그래프 임베딩을 학습하고, 긴 꼬리(long-tail) 샘플과 같은 어려운 예제를 효과적으로 다루는 것을 목표로 한다. 구체적으로, 먼저 대규모 소스 모델로부터 소규모 프리닝된 모델을 생성하기 위한 동적 프리닝 기법을 제안한다. 이 프리닝된 모델의 프리닝 마스크는 모델 가중치가 업데이트된 후 각 에포크마다 적응적으로 갱신될 수 있다. 프리닝된 모델은 소스 모델보다 어려운 기억이 필요한 샘플(예: 긴 꼬리 샘플)에 더 민감하게 반응할 것으로 기대된다. 다음으로, 소스 모델에서 포괄적인 지식을 프리닝된 모델로 전이하기 위한 일단계 메타 자기-디스틸리이션 방법을 제안한다. 이 과정에서 두 모델은 훈련 중 동적으로 상호 진화한다. 특히, 소스 모델과 동시에 한 반복(iteration) 내에서 훈련되는 프리닝된 모델의 성능을 메타 학습을 통해 활용하여, 다음 반복에서 소스 모델의 지식 전이 능력을 향상시킨다. 광범위한 실험 결과는 MetaSD가 강력한 기준 모델들과 경쟁 가능한 성능을 달성하면서도, 기준 모델들보다 10배 작다는 점을 입증하였다.