11일 전

개인화된 페더레이티드 러닝을 위한 하이퍼네트워크 사용

Aviv Shamsian, Aviv Navon, Ethan Fetaya, Gal Chechik
개인화된 페더레이티드 러닝을 위한 하이퍼네트워크 사용
초록

개인화된 연합 학습은 각 클라이언트마다 고유한 데이터 분포를 가진 여러 클라이언트를 대상으로 머신러닝 모델을 훈련하는 것을 목표로 한다. 이 과정에서는 클라이언트 간의 데이터 차이를 고려하면서도 공동으로 개인화된 모델을 훈련하고, 통신 비용을 최소화하는 것이 핵심이다. 본 연구에서는 하이퍼넷워크(Hypernetworks)를 활용한 새로운 접근 방식을 제안하며, 이를 개인화된 연합 하이퍼넷워크(Personalized Federated HyperNetworks, pFedHN)라 명명한다. 이 방법에서는 중앙에 위치한 하이퍼넷워크 모델이 각 클라이언트별로 하나씩의 독립된 모델을 생성하도록 훈련된다. 이러한 아키텍처는 클라이언트 간에 효과적인 파라미터 공유를 가능하게 하면서도, 각 클라이언트에 맞는 고유하고 다양한 개인화된 모델을 생성할 수 있는 능력을 유지한다. 또한 하이퍼넷워크의 파라미터는 전송되지 않기 때문에, 이 접근법은 통신 비용을 학습 가능한 모델 크기와 분리할 수 있다. 우리는 pFedHN을 다양한 개인화된 연합 학습 문제에 대해 실증적으로 평가한 결과, 기존 방법들을 초월하는 성능을 보였다. 마지막으로, 하이퍼넷워크가 클라이언트 간에 정보를 공유할 수 있다는 점을 고려할 때, 훈련 과정에서 관찰된 모든 클라이언트와는 다른 데이터 분포를 가진 새로운 클라이언트에 대해서도 pFedHN이 더 우수한 일반화 성능을 보임을 입증하였다.

개인화된 페더레이티드 러닝을 위한 하이퍼네트워크 사용 | 최신 연구 논문 | HyperAI초신경