ノイズ対比推定
ノイズコントラストの推定 NCE は、Gutmann と Hyvrinen によって提案された統計モデル推定手法であり、主にニューラル ネットワークの複雑な計算問題を解決するために使用されており、現在、画像処理や自然言語処理の分野で広く使用されています。
NCEの考え
実際のサンプルと「ノイズサンプル」を比較し、実際のサンプルのパターンを見つける、つまり確率生成問題を二値分類問題に変換するために「比較学習を使用する」、つまり、ランダムにサンプリングされた実際のサンプルを比較することです。単純な分布を使用して、誤ったサンプルを比較し、実際のサンプルと誤ったサンプルの違いを見つけようとします。
NCEの特徴
NCE は、複雑な問題をバイナリ分類問題に変換します。つまり、実際のサンプルは 1 と判断され、別の分布からサンプリングされたサンプルは 0 と判断されます。さらに、NCE は、正規化係数の計算時に確率分布パラメータを直接推定できます。直接完了することはできません。