11日前

エネルギー効率的なスパーストレーニングによる自動符号化器における特徴選択の高速かつロバスト性

Zahra Atashgahi, Ghada Sokar, Tim van der Lee, Elena Mocanu, Decebal Constantin Mocanu, Raymond Veldhuis, Mykola Pechenizkiy
エネルギー効率的なスパーストレーニングによる自動符号化器における特徴選択の高速かつロバスト性
要約

近年、高次元データの増加に伴い、計算コストやメモリ要件の増大といった主要な課題が生じている。これに対応するため、データセットにおける最も関連性が高く情報量の多い属性を特定する特徴選択(feature selection)が注目されている。しかし、既存の特徴選択手法の多くは計算効率が低く、非効率なアルゴリズムは高いエネルギー消費を引き起こすため、計算能力やエネルギー資源が限られたデバイスにとっては望ましくない。本論文では、教師なし特徴選択を対象とした新しい柔軟な手法を提案する。本手法は「QuickSelection」と名付けられ、スパースなニューラルネットワークにおけるニューロンの強度を特徴の重要度を評価する基準として導入している。この基準は、スパース進化的訓練プロセス(sparse evolutionary training procedure)により学習されたスパース接続型ノイズ除去オートエンコーダ(denoising autoencoder)と組み合わせられ、すべての入力特徴の重要度を同時に導出する。従来の接続に対してバイナリマスクを用いてスパース性を模倣する手法とは異なり、QuickSelectionは完全にスパースな構造で実装されており、大幅な処理速度の向上とメモリ使用量の削減を実現している。複数のベンチマークデータセット(低次元データ5種、高次元データ3種)を用いた実験において、本手法は広く用いられている特徴選択手法の中でも、分類精度・クラスタリング精度、実行時間、最大メモリ使用量のバランスにおいて最良の性能を達成した。さらに、最先端のオートエンコーダベースの特徴選択手法の中でも、本手法は最も低いエネルギー消費量を実現している。

エネルギー効率的なスパーストレーニングによる自動符号化器における特徴選択の高速かつロバスト性 | 最新論文 | HyperAI超神経