오컴의 면도날

오컴의 면도날즉, 관찰 결과와 일치하는 가설이 여러 개 있는 경우 가장 간단한 가설이 선택됩니다. 오컴의 면도날은 종종 경험적 추론 기법으로 사용된다. 이는 사람들이 이론적 모델을 개발하는 데 도움이 되는 도구일 뿐이며, 이론을 판단하는 기준으로 사용할 수 없습니다.

오컴의 면도날의 기원

오컴의 면도날은 어떤 곳에서는 "오컴의 면도날"이라고도 불립니다. 라틴어 이름은 렉스 파르시모니아에(lex parsimoniae)로, 단순성의 법칙을 뜻합니다.

이는 14세기 논리학자이자 프란치스코회 수도사였던 윌리엄 오컴이 제안한 문제 해결 규칙으로, 그는 자신의 저서 『잠언 주석』 제2권 15번 질문에서 "더 이상 낭비하지 말고, 더 적은 것으로 할 수 있는 일을 하라"고 말했습니다.

다시 말해, 같은 문제에 대해 여러 이론이 있고 각 이론이 동등하게 정확한 예측을 한다면, 가정이 가장 적은 이론을 선택해야 합니다. 일반적으로 더 복잡한 방법이 더 나은 예측을 내리지만, 예측 능력이 문제가 되지 않는 한(즉, 결과가 거의 동일하다면) 가정은 적을수록 좋습니다.

오컴의 면도날의 적용

오컴의 면도날 원형은 동등한 설명력을 가진 모델에만 적용됩니다(즉, 동등하게 좋은 모델 중에서 더 간단한 모델을 선택하라고 말할 뿐입니다).

오컴의 면도날의 보다 일반적인 형태는 베이지안 모델 비교에서 파생될 수 있습니다.

베이즈 요인을 기반으로 하며, 관찰 결과에 똑같이 잘 맞지 않는 모델을 비교하는 데 사용할 수 있습니다. 이러한 모델은 설명력과 복잡성 사이에서 가장 적절한 균형을 찾는 경우가 있습니다.

일반적으로 베이즈 요인의 정확한 값을 얻는 것은 어렵지만, 아카이케 정보 기준, 베이지안 정보 기준, 변분 베이즈 방법, 오발견율, 라플라스 방법 등 근사값을 제공하는 방법이 많이 있습니다. 많은 AI 연구자들은 오컴 학습에서 이러한 방법을 사용합니다.