개인화된 편재 학습: 가우시안 프로세스를 활용한 접근

연합 학습(Federated Learning)은 클라이언트 간의 통신을 최소화하면서도 클라이언트 기기에서 우수한 성능을 발휘하는 글로벌 모델을 학습하는 것을 목표로 한다. 개인화된 연합 학습(Personalized Federated Learning, PFL)은 각 클라이언트 간의 데이터 이질성(데이터 분포의 차이)을 고려하여 개인 맞춤형 모델을 학습함으로써 이 설정을 더욱 확장한다. 이 환경에서의 핵심 과제는 각 클라이언트가 고유한 데이터를 보유하고 있으며, 그 데이터 양이 일반적으로 제한적이라는 점에서 효과적으로 모델을 학습하는 것이다. 본 연구에서는 깊은 커널 학습을 기반으로 한 가우시안 프로세스(Gaussian Processes, GPs)를 활용한 pFedGP라는 PFL 해결 방안을 제안한다. GPs는 베이지안적 성격 덕분에 데이터가 적은 환경에서도 높은 표현력을 발휘하는 강력한 모델이다. 그러나 GPs를 PFL에 적용하는 것은 여러 도전 과제를 수반한다. 특히 GPs의 성능은 우수한 커널 함수에 대한 접근에 크게 의존하며, 커널 함수를 학습하기 위해서는 대규모 학습 데이터가 필요하다. 이를 해결하기 위해, 모든 클라이언트 간에 공유되는 커널 함수를 신경망으로 파라미터화하고, 각 클라이언트별로 개별적인 GP 분류기(개인용 GP)를 도입하는 방식을 제안한다. 또한, pFedGP를 두 가지 새로운 방법을 통해 유도 점(inducing points)을 도입하도록 확장하였다. 첫 번째 방법은 데이터가 적은 환경에서의 일반화 성능을 향상시키는 데 기여하며, 두 번째 방법은 계산 비용을 감소시킨다. 본 연구는 새로운 클라이언트에 대한 PAC-Bayes 일반화 경계를 도출하였으며, 실증적으로 이 경계가 비어 있지 않은(비공허한, non-vacuous) 보장을 제공함을 입증하였다. CIFAR-10, CIFAR-100, CINIC-10 등의 표준 PFL 벤치마크와 입력 노이즈 하에서의 새로운 학습 설정에서 실시한 광범위한 실험 결과, pFedGP는 예측의 정교한 캘리브레이션(calibration)을 달성하면서 기존의 기준 모델들을 크게 능가하였으며, 정확도 측면에서 최대 21%의 성능 향상을 기록하였다.