개별 학습자
개별 학습자앙상블 학습에 통합되기 전의 학습자라는 상대적인 개념입니다.
개별 학습자가 생성되는 방식에 따라 앙상블 학습 방법은 다음 두 가지 범주로 나눌 수 있습니다.
- 강력한 종속성이 있으며 Boosting과 같은 직렬화 방법은 직렬로 생성되어야 합니다.
- 배깅과 랜덤 포레스트로 대표되는, 동시에 생성될 수 있는 병렬 방법들 사이에는 강한 종속성이 없습니다.
부스팅은 약한 학습자를 강한 학습자로 승격시킬 수 있는 알고리즘입니다. 먼저 초기 학습 세트에서 기본 학습자를 학습시킨 다음, 기본 학습자를 기반으로 학습 샘플의 분포를 조정하여 기본 학습자가 틀린 학습 샘플이 앞으로 더 많은 관심을 받도록 한 다음, 조정된 샘플 분포를 기반으로 다음 기본 학습자를 학습시킵니다. 이 과정은 기본 학습자의 수가 미리 정해진 값 T에 도달할 때까지 반복되고, 마지막으로 이 T개의 학습자는 가중적으로 결합됩니다.
배깅은 병렬 앙상블 학습 방법의 대표로, 부트스트랩 샘플링을 기반으로 하며 분산을 줄이는 데 중점을 둡니다. 랜덤 포레스트 알고리즘은 배깅의 확장된 변형으로, 의사결정 트리를 기반으로 배깅 앙상블을 구축하고 의사결정 트리의 학습 과정에서 무작위 속성 선택을 더욱 도입합니다.