HyperAIHyperAI

Command Palette

Search for a command to run...

PHNNs:パラメータ化超複素畳み込みを用いた軽量ニューラルネットワーク

Eleonora Grassucci Aston Zhang Danilo Comminiello

概要

ハイパーコンプレックスニューラルネットワークは、クリフォード代数の性質を活用することで、パラメータ総数を削減しつつも優れた性能を維持できることを実証している。近年、効率的なパラメータ化されたクロネッカー積を導入することで、ハイパーコンプレックス線形層の性能がさらに向上している。本研究では、ハイパーコンプレックス畳み込み層のパラメータ化を定義し、軽量かつ効率的な大規模モデルとして、パラメータ化されたハイパーコンプレックスニューラルネットワーク(PHNNs)の族を提案する。本手法は、畳み込み規則およびフィルタの構成を、厳密に事前に定義されたドメイン構造に従わずに、データから直接学習する。PHNNsは、代数規則が事前に設定されていなくても、1次元からnnn次元までの任意のユーザー定義またはチューニング可能なドメインで柔軟に動作可能である。この柔軟性により、例えば3次元入力(カラー画像など)に対してクォータニオンニューラルネットワークが追加次元を付加するのとは異なり、多変数入力を自然なドメインで処理できる。その結果、本研究で提案するPHNNsの族は、実数領域における類似モデルと比較して、自由パラメータ数が1/n1/n1/nにまで削減される。本手法の汎用性を、さまざまな画像データセットおよび音声データセットを用いた実験を通じて検証した結果、実数およびクォータニオン値モデルを上回る性能を示した。実装コードは、以下のURLで公開されている:https://github.com/eleGAN23/HyperNets


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています