スパースオートエンコーダ

スパース オートエンコーダ (SAE) は、オートエンコーダの出力と元の入力の間の誤差を計算し、オートエンコーダのパラメータを継続的に調整することでモデルをトレーニングする、教師なし機械学習アルゴリズムです。オートエンコーダーは、入力情報を圧縮し、有用な入力機能を抽出するために使用できます。

オートエンコーダは、もともと次元削減の考え方に基づいて提案されました。しかし、隠しノードの数が入力ノードの数より多い場合、オートエンコーダはサンプルの特徴を自動的に学習する能力を失います。このとき、隠しノードに一定の制約を課す必要があります。ノイズ除去オートエンコーダの出発点と同様に、高次元でスパースな表現が適しています。そのため、隠しノードにいくつかのスパース制限を課すことが提案されています。スパース オートエンコーダは、従来のオートエンコーダにいくつかのスパース制約を追加することによって得られます。このスパース性は、オートエンコーダの隠れ層ニューロン用です。隠れ層ニューロンの出力のほとんどを抑制することで、ネットワークはスパース効果を実現します。