초록
연합 학습(federated learning) 환경에서 훈련된 모델은 일반적으로 성능이 저하되고, 특히 비균질(heterogeneous) 상황에서 일반화에 실패하는 경향이 있다. 본 연구에서는 손실 함수의 기하학적 특성과 헤시안(Hessian) 고유값 스펙트럼의 관점에서 이러한 현상을 탐구하며, 모델의 일반화 능력 부족이 해답(solution)의 날카로움(sharpness)과 밀접한 관련이 있음을 밝힌다. 손실 표면의 날카로움과 일반화 갭(generalization gap) 사이의 이전 연구들을 바탕으로, 본 연구는 i) 클라이언트 측에서 샤프니스-어웨어 미니마이제이션(SAM) 또는 그 적응형 버전인 ASAM을 사용하여 로컬로 훈련하고, ii) 서버 측에서 확률적 가중치 평균화(stochastic weight averaging, SWA)를 적용함으로써, 연합 학습에서의 일반화 성능을 크게 향상시킬 수 있음을 보여준다. 이러한 방법은 손실이 균일하게 낮은 근접 영역 내의 파라미터를 탐색함으로써, 더 평탄한 최소값(flatter minima)으로 수렴하게 하며, 이는 균질적 및 비균질적 상황 모두에서 모델의 일반화 능력을 크게 향상시킨다. 실증 결과는 다양한 벤치마크 비전 데이터셋(CIFAR10/100, Landmarks-User-160k, IDDA)과 다양한 작업(대규모 분류, 세그멘테이션, 도메인 일반화)에서 해당 최적화 기법들의 효과성을 입증한다.