초록
노이즈 콘트라스티브 추정(NCE)은 로그-선형 모델의 매개변수 추정을 위한 강력한 방법으로, 각 학습 단계에서 분할 함수나 그 도함수를 계산하는 복잡한 과정을 피할 수 있습니다. 이는 많은 경우에서 계산적으로 요구되는 단계입니다. NCE는 현재 자연어 처리(NLP)에서 널리 사용되는 부정 샘플링 방법과 밀접한 관련이 있습니다. 본 논문에서는 조건부 모델에 기반한 NCE 추정을 다룹니다. 조건부 모델은 실제 적용에서 자주 만나게 되지만, 이 설정에서의 NCE에 대한 엄밀한 이론적 분석은 아직 이루어지지 않았으며, 조건부 사례로 NCE를 일반화할 때 미묘하지만 중요한 질문들이 제기됩니다. 특히, 우리는 조건부 모델에 대한 두 가지 NCE 변형을 분석합니다: 하나는 분류 목적을 기반으로 하고, 다른 하나는 순위 목적을 기반으로 합니다. 우리는 순위 기반 NCE 변형이 분류 기반 방법보다 더 약한 가정 하에서도 일관된 매개변수 추정 값을 제공한다는 것을 보여줍니다. 또한, 순위 기반 및 분류 기반 NCE 변형의 통계적 효율성을 분석하고, 합성 데이터와 언어 모델링에 대한 실험을 통해 두 방법의 효과성과 장단점을 설명합니다.