공짜 점심은 없다 정리

NFL 정리즉, 어떠한 학습 알고리즘도 모든 분야에서 정확한 학습자를 만들어낼 수 없다는 의미입니다. 즉, 특정 분야의 문제에 대해서는 모든 알고리즘의 기대 성능이 동일하다는 뜻입니다.

NFL 특정 설명

• 가능한 모든 목적 함수를 평균화하면 "비훈련 세트 오류"에 대해 동일한 기대값이 생성됩니다.
• 고정된 학습 세트에서 목적 함수를 평균화하면 "학습 세트가 아닌 오류"에 대해 동일한 기대 값이 생성됩니다.
• 사전 지식을 평균화하면 "비훈련 세트 오류"에 대해 동일한 기대 값이 생성됩니다.
• 고정된 학습 세트의 사전 지식을 평균화하면 "학습 세트가 아닌 오류"에 대해 동일한 기대 값이 생성됩니다.

NFL 정리는 보편적인 "보존 법칙"으로 이어진다. 즉, 실현 가능한 학습 알고리즘의 경우 모든 가능한 목적 함수에 대한 성능은 합산해서 0이다.