深層学習は、畳み込みニューラルネットワーク（CNNs）を介して視覚処理を、リカレントニューラルネットワーク（RNNs）を介して自然言語処理を革命化しました。しかし、標準的なフィードフォワードニューラルネットワーク（FNNs）を使用した深層学習の成功例は少ないです。パフォーマンスの良いFNNsは通常浅く、そのため多くの抽象表現レベルを利用することはできません。本稿では、高レベルの抽象表現を可能にする自己正規化ニューラルネットワーク（SNNs）を導入します。バッチ正規化が明示的な正規化を必要とするのに対し、SNNsのニューロン活性化は自動的に平均0、分散1に収束します。SNNsの活性化関数は「スケール付き指数線形単位」（SELUs）であり、自己正規化特性を誘導します。バナッハの不動点定理を使用して、平均0と分散1に近い活性化が多数のネットワーク層を通じて伝播すると、ノイズや摂動が存在しても平均0と分散1に収束することを証明しています。このSNNsの収束特性により、(1) 多数の層を持つ深いネットワークの訓練、(2) 強力な正則化手法の使用、(3) 学習の高い堅牢性が可能になります。さらに、単位分散から大きく離れた活性化についても分散の上限と下限を証明しており、勾配消失や勾配爆発は起こり得ません。私たちはSNNsを(a) UCI機械学習リポジトリからの121つのタスク、(b) 薬物発見ベンチマーク、(c) 天文学タスクで標準的なFNNsおよびランダムフォレストやサポートベクトルマシンなどの他の機械学習手法と比較しました。SNNsは121つのUCIタスクで競合するすべてのFNN手法を大幅に上回り、Tox21データセットではすべての競合手法を上回り、天文学データセットにおいて新しい記録を樹立しました。優勝したSNNアーキテクチャはしばしば非常に深いものでした。実装は以下のURLで利用可能です：github.com/bioinf-jku/SNNs。