1ヶ月前

コンクリート・オートエンコーダー:微分可能な特徴選択と再構成のための手法

Abubakar Abid; Muhammad Fatih Balin; James Zou
コンクリート・オートエンコーダー:微分可能な特徴選択と再構成のための手法
要約

我々は具体的オートエンコーダ(Concrete Autoencoder)を導入します。これは、グローバルな特徴選択のためのエンドツーエンドで微分可能な手法であり、情報量の多い特徴の部分集合を効率的に特定し、同時に選択された特徴から入力データを再構築するニューラルネットワークを学習します。当手法は教師なしであり、エンコーダとして具体的セレクタ層(Concrete Selector Layer)を使用し、デコーダとして標準的なニューラルネットワークを使用しています。学習フェーズでは、具体的セレクタ層の温度が徐々に低下させられることで、ユーザー指定の数の離散的な特徴が学習されるよう促されます。テスト時には、選択された特徴とデコーダネットワークを使用して残りの入力特徴を再構築することができます。我々は具体的オートエンコーダをさまざまなデータセットで評価しました。その結果、特徴選択とデータ再構築において最先端の手法を大幅に上回ることが示されました。特に大規模な遺伝子発現データセットにおいて、具体的オートエンコーダは少数の遺伝子を選択し、それらの発現レベルを使って残りの遺伝子の発現レベルを推定することが可能となりました。これにより、現在広く使用されている専門家によって選定されたL1000ランドマーク遺伝子よりも性能が向上し、測定コストを最大20%削減できる可能性があります。具体的オートエンコーダは、標準的なオートエンコーダにわずかなコード追加を行うことで実装できます。

コンクリート・オートエンコーダー:微分可能な特徴選択と再構成のための手法 | 最新論文 | HyperAI超神経