하이퍼파라미터

머신 러닝에서 하이퍼파라미터는 학습 과정을 제어하기 위해 미리 주어진 매개변수입니다. 다른 매개변수(예: 노드 가중치)의 값은 학습을 통해 얻어집니다.하이퍼파라미터는 머신 러닝 알고리즘이 데이터로부터 어떻게 학습하는지를 결정하는 구성 선택입니다. 이는 사용자가 설정하는 것이며 학습 과정에서 학습되지 않습니다. 하이퍼 매개변수의 예로는 학습률, 신경망의 은닉층 수, 랜덤 포레스트의 의사결정 트리 수, 선형 회귀의 정규화 매개변수 등이 있습니다.

하이퍼매개변수는 모델 하이퍼매개변수와 알고리즘 하이퍼매개변수로 나눌 수 있습니다. 모델 하이퍼파라미터는 주로 모델 선택에 사용되며 학습 세트의 특성을 학습하는 데 도움이 되지 않습니다. 이와 대조적으로 알고리즘 하이퍼 매개변수는 이론적으로 모델의 성능에 영향을 미치지 않지만 학습의 속도와 품질에 영향을 미칩니다. 일반적인 모델 하이퍼파라미터는 신경망의 토폴로지와 크기입니다. 학습률과 배치 크기(Batch size) 및 미니 배치 크기(Mini-Batch size)는 전형적인 알고리즘 하이퍼파라미터입니다.

다양한 모델 학습 알고리즘에는 다양한 하이퍼 매개변수가 필요합니다. 일부 간단한 알고리즘(일반 최소 제곱 회귀 등)에는 하이퍼 매개변수가 필요하지 않습니다. 적절한 하이퍼파라미터를 선택하는 것은 머신 러닝 모델의 성능과 동작에 직접적인 영향을 미치므로 매우 중요합니다. 하이퍼파라미터를 너무 낮게 설정하면 과소적합이 발생하여 모델이 데이터의 기본 패턴을 포착하지 못할 수 있습니다. 반대로, 너무 높게 설정하면 과적합이 발생할 수 있습니다. 즉, 모델이 너무 복잡해지고 일반화하기보다는 훈련 데이터를 기억하게 됩니다. 하이퍼파라미터 튜닝은 주어진 머신 러닝 작업에 대해 최적의 하이퍼파라미터 조합을 찾는 프로세스입니다. 이는 일반적으로 그리드 탐색, 무작위 탐색 또는 베이지안 최적화와 같은 보다 고급 기술을 통해 수행됩니다. 연구자들은 하이퍼파라미터의 다양한 조합을 체계적으로 탐색함으로써 검증 세트에서 모델 성능을 극대화하는 구성을 식별할 수 있습니다.

참고문헌

【1】https://zh.wikipedia.org/wiki/1T P3TB0_()

【2】https://encord.com/glossary/hyper-parameters-definition/