하이퍼파라미터

하이퍼파라미터(Hyperparameter)는 머신러닝 및 딥러닝 모델에서 학습 과정 전에 설정해야 하는 값으로, 모델의 성능과 학습 속도에 큰 영향을 미칩니다.

1. 하이퍼파라미터 vs 파라미터

• 하이퍼파라미터: 사용자가 직접 설정해야 하며, 학습 전에 정해지는 값 (예: 학습률, 배치 크기).
• 파라미터: 모델이 학습을 통해 자동으로 최적화하는 값 (예: 가중치, 편향).

2. 주요 하이퍼파라미터

1) 학습 관련 하이퍼파라미터

• 학습률 (Learning Rate, lr)
  • 모델이 가중치를 업데이트하는 속도를 결정.
  • 너무 크면 발산, 너무 작으면 학습 속도가 느려짐.
• 배치 크기 (Batch Size)
  • 한 번에 학습에 사용하는 데이터 샘플 개수.
  • 작은 배치 크기는 일반화 성능이 좋지만 계산량이 많아지고, 큰 배치 크기는 학습 속도가 빠르지만 일반화 성능이 떨어질 수 있음.
• 에폭 (Epoch)
  • 전체 데이터셋을 몇 번 반복 학습할지를 결정.
  • 너무 많으면 과적합(overfitting), 너무 적으면 학습이 부족할 수 있음.
• 옵티마이저 (Optimizer)
  • 모델의 가중치를 업데이트하는 알고리즘 (예: SGD, Adam, RMSprop 등).

2) 모델 구조 관련 하이퍼파라미터

• 뉴런 개수 (Number of Neurons)
  • 은닉층(hidden layer)의 뉴런 개수를 조정하여 모델의 표현력을 조절.
• 은닉층 개수 (Number of Hidden Layers)
  • 너무 많으면 과적합, 너무 적으면 학습 성능이 떨어질 수 있음.
• 활성화 함수 (Activation Function)
  • 비선형성을 추가하는 함수 (예: ReLU, Sigmoid, Tanh 등).

3) 규제(Regularization) 관련 하이퍼파라미터

• 드롭아웃 (Dropout)
  • 일부 뉴런을 랜덤하게 제거하여 과적합 방지.
• L1/L2 정규화 (Lasso/Ridge Regularization)
  • 가중치 값이 너무 커지는 것을 방지하여 과적합을 줄임.

3. 하이퍼파라미터 튜닝 방법

1. 그리드 서치 (Grid Search): 가능한 모든 조합을 탐색.
2. 랜덤 서치 (Random Search): 무작위로 선택하여 탐색.
3. 베이지안 최적화 (Bayesian Optimization): 이전 결과를 반영하여 효율적으로 탐색.
4. 하이퍼밴드 (Hyperband): 비효율적인 하이퍼파라미터 조합을 빠르게 제거.

하이퍼파라미터 튜닝은 모델 성능을 극대화하는 중요한 과정이며, 실험을 통해 최적값을 찾아야 합니다. 🚀