AdaBest: 적응적 편향 추정을 통한 연합 학습에서 클라이언트 드리프트 최소화

연합 학습(Federated Learning, FL)에서는 여러 클라이언트 또는 장치가 데이터를 공유하지 않은 채 모델을 공동으로 학습한다. 각 클라이언트에서는 로컬로 모델을 최적화한 후, 이를 중앙 허브로 전송하여 집계한다. FL은 탈중앙화된 학습 패러다임으로서 매력적인 장점을 지니고 있으나, 다양한 클라이언트 간 데이터의 이질성은 로컬 최적화 과정이 전역 목적에서 벗어나는 '드리프트(drift)' 현상을 유발할 수 있다. 이러한 드리프트를 추정하고 제거하기 위해 최근에는 분산 감소(variance reduction) 기법이 FL 최적화에 도입되었다. 그러나 기존의 이러한 접근 방식은 클라이언트의 드리프트를 정확히 추정하지 못해 결국 제거 효과가 부족하다는 한계가 있다. 본 연구에서는 클라이언트 간 드리프트를 정확히 추정할 수 있는 적응형 알고리즘을 제안한다. 기존 연구들과 비교해 본 방법은 저장 공간과 통신 대역폭, 계산 비용 모두를 더 적게 요구한다. 또한, 클라이언트 드리프트 추정치의 노름(norm)을 제약함으로써 안정성을 확보함으로써 대규모 연합 학습 환경에서도 더욱 실용적인 성능을 발휘한다. 실험 결과, 제안한 알고리즘이 다양한 FL 기준 평가 환경에서 기존 기준 대비 더 빠르게 수렴하고 더 높은 정확도를 달성함을 확인하였다.