要約
ノイズコントラスティブ推定（NCE）は、対数線形モデルのパラメータ推定に用いられる強力な手法であり、各訓練ステップで分割関数やその微分を計算する必要がなく、これは多くの場合計算量が大きいステップとなっています。NCEは、現在NLPで広く使用されているネガティブサンプリング手法と密接に関連しています。本論文では、条件付きモデルにおけるNCEベースの推定方法について考察します。条件付きモデルは実際の応用で頻繁に遭遇されますが、この設定でのNCEの厳密な理論解析はこれまで行われておらず、条件付きケースへの一般化には微妙ながら重要な問題があることを議論します。特に、条件付きモデルに対するNCEの2つの変種を分析します：1つは分類目的に基づくもの、もう1つはランキング目的に基づくものです。ランキングベースのNCE変種が、分類ベースの手法よりも弱い仮定のもとで一貫したパラメータ推定を与えることを示します。また、ランキングベースと分類ベースのNCE変種の統計的効率性を分析し、最後に合成データと言語モデリングにおける実験結果を提示して両手法の有効性とトレードオフを説明します。