초록
클라이언트 간 통계적 이질성의 저주로 인해, 연합학습 기반 서비스의 성공적인 구현을 위해서는 개인화된 연합학습 방법을 채택하는 것이 필수적인 선택이 되었다. 다양한 개인화 기법 중에서 모델 믹스 기반 개인화 방법이 선호되는데, 이는 연합학습 과정을 통해 각 클라이언트가 자체적인 개인화 모델을 갖게 되기 때문이다. 일반적으로 이 방법은 로컬 모델과 연합 모델을 필요로 하지만, 이러한 접근 방식은 파라미터 교환 범위가 제한적이거나 추가적인 로컬 업데이트를 요구하는 등, 새로운 클라이언트에 대한 적응 능력이 부족하며 클라이언트의 계산 자원 부담을 증가시킨다. 최근 두 개 이상의 독립적인 딥 네트워크 사이에 다양한 낮은 손실 해를 포함하는 연결된 부분공간이 존재함이 발견되었으며, 본 연구에서는 이러한 흥미로운 성질을 모델 믹스 기반 개인화 연합학습 방법과 결합하여 개인화 성능을 향상시켰다. 이를 통해 우리는 SuPerFed라는 새로운 개인화 연합학습 방법을 제안하였으며, 이는 가중치 공간에서 로컬 모델과 연합 모델의 최적해 간에 명시적인 연결을 유도함으로써 서로를 강화할 수 있도록 설계되었다. 여러 벤치마크 데이터셋에서 실시한 광범위한 실험을 통해, 제안하는 방법이 실제 서비스에서 발생할 수 있는 문제 상황에 대해 뛰어난 강건성과 함께 개인화 성능에서 일관된 성과 향상을 달성함을 입증하였다.