PHNNs: 매개변수화된 초복소 컨볼루션을 통한 경량화 신경망

하이퍼컴플렉스 신경망은 클리포드 대수의 성질을 활용함으로써 전반적인 파라미터 수를 줄이면서도 유의미한 성능을 보장함을 입증해왔다. 최근에는 효율적인 파라미터화된 크로네커 곱을 도입함으로써 하이퍼컴플렉스 선형 층이 더욱 개선되었다. 본 논문에서는 하이퍼컴플렉스 컨볼루션 층의 파라미터화를 정의하고, 가벼우며 효율적인 대규모 모델을 위한 파라미터화된 하이퍼컴플렉스 신경망(PHNNs)의 가족을 제안한다. 제안된 방법은 고정된 도메인 구조를 미리 정의해둘 필요 없이, 데이터로부터 컨볼루션 규칙과 필터 구성 구조를 직접 학습한다. PHNNs는 대수 규칙이 미리 설정되어 있든 말든, 1차원부터 $n$차원까지 사용자가 정의하거나 조정한 도메인에서 유연하게 작동할 수 있다. 이러한 유연성 덕분에, 3차원 입력(예: 컬러 이미지)의 경우 퀼레르니언 신경망이 추가 차원을 부가하는 것과 달리, 다차원 입력을 그 자연스러운 도메인에서 처리할 수 있다. 결과적으로, 제안된 PHNN 가족은 실수 도메인에서의 대응 모델에 비해 자유 파라미터 수가 $1/n$ 수준으로 감소한다. 다양한 이미지 데이터셋과 음성 데이터셋을 대상으로 한 실험을 통해 본 방법이 실수 및 퀼레르니언 값 대응 모델보다 우수한 성능을 보임을 입증하였다. 전체 코드는 다음에서 공개되어 있다: https://github.com/eleGAN23/HyperNets.