15일 전

개인화 사전 정보가 숨겨진 개인화된 연합 학습

Mingjia Shi, Yuhao Zhou, Qing Ye, Jiancheng Lv
개인화 사전 정보가 숨겨진 개인화된 연합 학습
초록

연합 학습(Federated Learning, 약자로 FL)은 데이터를 직접 공유하지 않고도 개인 정보를 보호하면서 글로벌 모델을 훈련할 수 있도록, 글로벌 서버와 협력하는 클라이언트들이 공동으로 참여하는 분산 기계학습 기법이다. 그러나 FL의 주요 문제 중 하나인 데이터 이질성 문제는 글로벌 모델이 각 클라이언트의 로컬 데이터에서 효과적으로 성능을 발휘하는 것을 어렵게 만든다. 이를 해결하기 위해 개인화 연합 학습(Personalized Federated Learning, 약자로 PFL)이 제안되었으며, 이는 로컬 데이터에서의 모델 성능을 최대한 향상시키는 것을 목표로 한다. 베이지안 학습은 모델의 파라미터를 사전 가정을 기반으로 하는 확률 변수로 간주하는 접근 방식으로, 로컬 데이터가 많을수록 모델이 로컬 데이터에 더 집중하고, 그렇지 않을 경우 사전 분포에 더 의존하는 성향을 지녀, 데이터 이질성 문제 해결에 실현 가능한 해결책이 될 수 있다. PFL에 베이지안 학습을 적용할 경우, 글로벌 모델은 로컬 훈련 과정에 글로벌 지식을 사전 정보로 제공하게 된다. 본 논문에서는 스케일된 지수족(scaled exponential family)에 대한 사전 가정을 두고 베이지안 학습을 활용하여 PFL을 모델링하였으며, 이를 바탕으로 Bregman 발산 정규화를 사용하여 모델링된 문제를 해결하는 pFedBreD 프레임워크를 제안한다. 실험적으로, 구형 가우시안(spherical Gaussian) 사전 가정과 평균 선택의 1차 전략을 기반으로 할 때, 제안한 방법이 여러 공개 벤치마크에서 기존의 다른 PFL 알고리즘들을 상회하는 성능을 보였다.

개인화 사전 정보가 숨겨진 개인화된 연합 학습 | 최신 연구 논문 | HyperAI초신경