HyperAI초신경

매개변수 튜닝

매개변수 조정더 나은 결과를 얻기 위해 매개변수를 조정하여 오류를 수정하고 신경망 학습의 정확도를 향상시키는 것을 목표로 합니다.

모델의 최적 매개변수는 여러 시나리오에 따라 달라집니다. 모델을 평가하고 선택할 때 알고리즘을 선택하는 것 외에도 매개변수도 설정해야 합니다. 매개변수 조정은 매개변수 설정을 완료하는 과정입니다. 현재 일반적인 관행은 매개변수의 범위를 선택하고 단계를 변경하는 것입니다(예: [0, 0.2] 사이, 단계 크기 0.05). 이런 방식으로 5개의 후보 매개변수 값을 얻을 수 있으며, 이 5개의 후보 값으로부터 이상적인 값을 얻을 수 있다. 이런 방식으로 얻은 매개변수 값이 최적의 값은 아니지만, 계산 오버헤드와 성능 추정 간의 절충안이 될 수 있습니다.

매개변수 조정 구현 방법

  • 이 모델은 SVM의 커널 함수 유형, C 값의 크기, 의사결정 트리의 트리 깊이 등 여러 가지 조정 가능한 매개변수를 갖습니다.
  • 특징과 기본 모델을 선택한 후 모델 매개변수를 조정하여 정확도를 향상시킬 수 있습니다.
  • 여러 개의 매개변수가 있는 모델의 경우, 값이 다를 경우 각 매개변수를 하나씩 테스트해야 합니다.
  • 모델 평가를 위해 일반적으로 K-폴드 방법과 같은 교차 검증 방법이 사용됩니다. K-폴드 방법은 학습 세트를 k개의 동일한 부분으로 나눈 다음, 매번 1~k에서 한 부분을 테스트 세트로 선택하고 나머지를 학습 세트로 선택합니다. 훈련된 규칙은 모델 점수 매기기에 사용되고, 마지막으로 k 점수 중 가장 높은 점수를 최종 점수로 취합니다.

일반적으로 테스트 세트에 대한 판별 효과는 실제 응용 프로그램에서 모델의 일반화 능력을 추정하는 데 사용됩니다. 학습 데이터는 학습 세트와 검증 세트로 나뉘고, 검증 세트에서의 성능에 따라 모델 선택 및 매개변수 조정이 수행됩니다.

참고문헌:

【1】https://cloud.tencent.com/developer/article/1099605

【2】https://www.jianshu.com/p/e6feaad5399e