과적합 방지 기법

문제 설명

기계학습에서 과적합(Overfitting)을 방지하는 다양한 정규화 기법을 구현하세요.

구현할 기법

1. L1 정규화 (Lasso)

   손실 함수에 가중치 절댓값 합 추가

2. L2 정규화 (Ridge)

   손실 함수에 가중치 제곱 합 추가

3. Elastic Net

   L1과 L2의 조합

4. Dropout

   학습 시 랜덤하게 뉴런 비활성화

5. Early Stopping

   검증 손실이 증가하면 학습 중단

수식

L1: Loss + λ * Σ|w|
L2: Loss + λ * Σw²
Elastic: Loss + λ1 * Σ|w| + λ2 * Σw²

평가 기준

• 수식 정확성
• 그래디언트 계산
• 과적합 방지 효과