構造的リスクを最小限に抑えるこれは機械学習における帰納原理であり、過学習を防ぐ戦略としてよく使用されます。
SRM の原則
構造的リスク = 経験リスク + 信頼リスク
最適化理論では、最小構造リスクは主にサンプル上の経験的リスクであり、過学習を防ぐことを前提として、正規項を追加することで信頼リスクを最小化できます。
サンプルサイズが十分に大きい場合、経験的リスクは構造的リスクに近づくため、経験的リスクを最小化することで学習効果を確保できるため、現実に広く使用されています。
SRM アプリケーション
ベイズ推定では、最大事後確率推定が構造リスクの最小化となります。
モデルは条件付き確率分布に従い、損失関数は対数損失関数であり、モデルの複雑さはモデルの事前確率で表され、構造リスクの最小化は最大事後確率推定値です。
関連ワード: 構造的リスク、経験的リスクの最小化