통계 학습데이터를 기반으로 확률적 통계 모델을 구축하고 이를 사용하여 데이터를 예측하고 분석하는 것을 통계적 기계 학습이라고도 합니다.

통계적 학습의 전제는 데이터의 기본 가정은 데이터가 동일한 유형이고 특정한 통계적 규칙성을 가지고 있다는 것입니다. 데이터를 기반으로, 데이터에서 시작하여, 데이터의 특성을 추출하고, 데이터 모델을 추상화하고, 그 안의 법칙을 발견하고, 예측 함수를 찾아 문제를 해결합니다. 그 목적은 어떤 종류의 모델을 학습할 것인지, 그리고 모델을 어떻게 학습할 것인지를 고려하는 것입니다.

통계 학습은 데이터 중심의 학문이며 확률 이론, 통계학, 정보 이론, 계산 이론, 최적화 이론, 컴퓨터 과학 등 여러 분야를 통합한 학제간 학문입니다.

통계 학습의 세 가지 요소

• 모델: 생성 모델과 차별 모델 중 하나를 선택합니다. 두 모델의 차이점은 목표가 다르다는 것입니다. 생성 모델은 소스 데이터의 결합 확률 분포를 찾는 것이고, 판별 모델은 조건부 확률 또는 결정 함수를 찾는 것입니다.
• 전략: 적절한 손실 함수 또는 위험 함수, 즉 목적 함수를 선택합니다.
• 알고리즘: 경사 하강법, 뉴턴법/준뉴턴법, 라그랑주법 및 기타 최적화 알고리즘을 포함합니다.