초록
벡터 양자화 네트워크(VQNs)는 다양한 작업에서 뛰어난 성능을 보여왔지만, 미세한 초기화나 모델 디스틸레이션과 같은 보조 기술이 필요하기 때문에 학습 불안정성에 취약하다는 문제가 있다. 본 연구에서는 이러한 불안정성의 주요 원인으로 국소 최소값(local minima) 문제를 규명하였다. 이를 해결하기 위해 가장 가까운 이웃 탐색 대신 최적 운반(optimal transport) 방법을 도입하여 보다 전역적인 정보를 반영한 할당을 가능하게 하였다. 우리는 최적 운반 문제를 최적화하기 위해 Sinkhorn 알고리즘을 활용하는 새로운 벡터 양자화 방법인 OptVQ를 제안한다. 이는 학습 과정의 안정성과 효율성을 향상시킨다. 또한, Sinkhorn 알고리즘이 다양한 데이터 분포에 민감하게 반응하는 문제를 완화하기 위해 간단하면서도 효과적인 정규화 전략을 도입하였다. 이미지 재구성 작업에 대한 광범위한 실험 결과를 통해 OptVQ가 코드북 사용률 100%를 달성하며, 현재까지의 최고 수준 VQN들을 초월하는 재구성 품질을 보여주었다.