HyperAI超神経

代理損失関数

代替損失関数これは通常、損失関数の計算が不便な場合に使用されます。プロキシ損失関数が最適化されると、元の損失関数も最適化されます。つまり、このプロパティは元の損失関数に関連します。

置換損失関数が凸関数であり、0 点で微分可能である場合、微分値が 0 未満の場合には整合性が保たれるため、通常、損失関数として凸関数が選択されます。

一般的な置換関数

  • ヒンジ損失: f (x) = 最大 (0, 1-x)
  • 指数損失関数: f ( x ) = exp ( – x )
  • 対数損失関数: f ( x ) = log ( 1 + exp ( -x ))
関連語: 置換関数、損失関数