Search for a command to run...
日付
線形補正ユニット ReLU は人工ニューラル ネットワークで一般的に使用される活性化関数であり、線形整流関数とも呼ばれ、通常はランプ関数とその変形によって表される非線形関数を指します。
一般的に使用される線形補正ユニットには、傾き関数 f ( x ) = max ( 0 , x ) および漏洩整流関数 Leaky ReLU が含まれます。ここで、x はニューロンの入力を表します。
線形整流は、実際に一般的に使用される他の活性化関数よりも優れた効果を発揮するため、画像認識などのコンピューター ビジョン分野を含むディープ ニューラル ネットワークで広く使用されています。
ニューラル ネットワークで一般的に使用される活性化関数として、ReLU は、入力が正の場合、微分値がゼロではないステップ関数の生物学的インスピレーションを保持し、入力が負の場合、勾配ベースの学習を可能にします。この時点では入力が 0 未満であり、勾配が 0 であるため、重みが更新されず、トレーニング プロセスの残りの間沈黙したままになるため、ニューロンを遅くするか、直接無効にすることさえできます。
アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。