正則化これは、問題を解決したり、過学習を防止したりするために追加情報を導入するプロセスであり、数学、統計学、コンピューター サイエンス、特に機械学習と逆問題で一般的な方法です。

一般的に使用される正則化方法

• L2 正則化: すべてのパラメータ w の二乗和をトレーニング セットのサンプル サイズ n で割ったものです。λ は正則化係数であり、正則化項と C0 項の比率を重み付けるために使用されます。係数1/2。正則化項を追加する目的は、パラメータの二乗和を減らすことです。機械学習で最も一般的に使用される正則化方法は、重みに L2 ノルム制約を課すことです。
• L1 正則化: すべての重み w の絶対値の合計に λ/n を乗算したものです。L1 正則化は、パラメータの絶対値合成を減らすために目的関数に正則化項を追加し、特徴の選択でよく使用されます。
• ドロップアウト: L1 および L2 の正則化はコスト関数を変更することで実現されますが、ドロップアウトはニューラル ネットワークのトレーニング時に使用される手法です。
• Drop Connect: Dropout の一般化。アルゴリズムの過剰適合を軽減するための別の正則化戦略です。Drop Connect は通常、ネットワーク アーキテクチャの重みのランダムに選択されたサブセットを 0 に設定します。
• 早期停止方法: コスト関数を最小限に抑えるために、モデルに必要なトレーニングの反復回数を制限します。これは、トレーニング中に過剰表現されたモデルの汎化パフォーマンスの低下を防ぐためによく使用されます。

子単語：L1正則化、L2正則化