잡음 대비 추정 NCE는 Gutmann과 Hyv¨arinen이 제안한 통계적 모델 추정 방법입니다. 이는 주로 신경망의 복잡한 계산 문제를 해결하는 데 사용되며, 현재는 이미지 처리 및 자연어 처리 분야에서 널리 사용되고 있습니다.

NCE의 아이디어

실제 샘플과 "노이즈 샘플"을 비교하고, 이를 통해 실제 샘플의 규칙을 찾습니다. 즉, "비교 학습을 사용하여" 확률 생성 문제를 이진 분류 문제로 변환합니다. 다시 말해, 실제 샘플과 간단한 분포에서 무작위로 추출한 잘못된 샘플을 비교하고, 실제 샘플과 잘못된 샘플의 차이를 찾아봅니다.

NCE의 특징

NCE는 복잡한 문제를 이진 분류 문제로 변환합니다. 즉, 실제 샘플은 1로 판단되고 다른 분포에서 샘플링된 샘플은 0으로 판단됩니다. 또한, 정규화 인자 계산을 직접 완료할 수 없는 경우 NCE는 확률 분포 매개변수를 직접 추정할 수 있습니다.

관련 단어: 이진 분류 문제