Hyperparameter

머신러닝에서 **하이퍼파라미터(Hyperparameter)**는 모델 학습 전에 사용자가 직접 설정해야 하는 값입니다. 이는 모델의 구조나 학습 방식을 결정하며, 학습 과정 자체에는 영향을 미치지 않습니다. 반대로 모델 파라미터(Parameter)는 학습 데이터로부터 모델이 스스로 학습하는 값(예: 신경망의 가중치, 선형 회귀의 계수)입니다.

하이퍼파라미터는 모델의 성능에 큰 영향을 미치므로, 적절한 값을 찾는 과정(하이퍼파라미터 튜닝)이 중요합니다.

 

하이퍼파라미터의 예시:

• 신경망(Neural Network):
  • 학습률(Learning Rate): 모델이 가중치를 얼마나 크게 업데이트할지 결정합니다.
  • 배치 크기(Batch Size): 한 번의 업데이트에 사용할 데이터 샘플의 개수입니다.
  • 에포크 수(Number of Epochs): 전체 학습 데이터를 모델이 몇 번 반복해서 학습할지 결정합니다.
  • 은닉층의 개수(Number of Hidden Layers): 신경망의 깊이를 결정합니다.
  • 각 은닉층의 노드 수(Number of Nodes per Layer): 각 층의 뉴런 개수를 결정합니다.
  • 활성화 함수(Activation Function): 각 노드의 출력을 결정하는 비선형 함수입니다.
  • 규제 강도(Regularization Strength): 모델이 과적합되는 것을 방지하는 정도를 조절합니다 (예: L1, L2 규제의 강도).
  • 드롭아웃 비율(Dropout Rate): 학습 시 무작위로 노드를 비활성화하는 비율입니다.
• 결정 트리(Decision Tree) 및 랜덤 포레스트(Random Forest):
  • 트리의 최대 깊이(Maximum Depth of Tree): 트리가 얼마나 깊게 분기될 수 있는지 제한합니다.
  • 분할을 위한 최소 샘플 수(Minimum Samples to Split a Node): 노드를 분할하기 위해 필요한 최소 데이터 포인트 수입니다.
  • 리프 노드의 최소 샘플 수(Minimum Samples per Leaf Node): 리프 노드가 가질 수 있는 최소 데이터 포인트 수입니다.
  • 랜덤 포레스트의 트리 개수(Number of Trees in Random Forest): 앙상블을 구성하는 결정 트리의 개수입니다.
• 서포트 벡터 머신(Support Vector Machine, SVM):
  • 커널 타입(Kernel Type): 데이터를 고차원 공간으로 매핑하는 데 사용되는 함수 유형입니다 (예: linear, rbf, poly).
  • 규제 파라미터(C): 오류를 얼마나 허용할지 결정합니다.
• K-최근접 이웃(K-Nearest Neighbors, KNN):
  • K 값(Number of Neighbors): 예측에 사용할 이웃의 개수입니다.

하이퍼파라미터는 모델의 성능을 최적화하는 데 중요한 역할을 하며, 일반적으로 다양한 튜닝 기법(Grid Search, Random Search, Bayesian Optimization 등)을 통해 최적의 값을 찾습니다.