확률적 대칭화를 통한 구조 무관 등변성 학습

우리는 그룹 대칭성을 가진 함수 학습의 한계를 극복하기 위한 새로운 프레임워크를 제시합니다. 기존의 등변성(equivariant) 아키텍처와 달리, 우리는 MLP나 트랜스포머와 같은 임의의 기본 모델을 사용하여 이를 주어진 그룹에 대해 등변성으로 변환합니다. 이를 위해 작은 등변성 네트워크를 활용하여 대칭화 과정에서 기저가 되는 확률 분포를 매개변수화합니다. 이 분포는 기본 모델과 함께 단일 시스템으로 훈련되어, 성능을 최대화하면서 대칭화의 샘플 복잡도를 줄일 수 있습니다. 우리는 이 접근법이 주어진 그룹에 대한 등변성을 보장할 뿐만 아니라 예상치에서 유니버설 근사 능력을 유지함을 보여줍니다. 우리의 방법은 사전 훈련된 비전 트랜스포머에서 초기화될 수 있는 패치 기반 트랜스포머를 포함한 다양한 기본 모델에 구현되었으며, 순열(permutation) 그룹, 유클리드(Euclidean) 그룹 및 이들의 조합을 포함한 광범위한 대칭 그룹에 대해 테스트되었습니다. 경험적 테스트 결과, 특화된 등변성 아키텍처와 경쟁력 있는 성능을 보였으며, 비등변성 모달리티(예: 비전)에서 사전 훈련된 후 대칭 모달리티(예: 그래프)에서 학습이 강화되는 증거를 추가로 제시하였습니다. 코드는 https://github.com/jw9730/lps 에서 제공됩니다.