경사 하강법 구현

문제 설명

경사 하강법의 여러 변형을 구현하세요.

구현할 최적화 알고리즘

1. Batch Gradient Descent
2. Stochastic Gradient Descent (SGD)
3. Mini-batch Gradient Descent
4. Momentum
5. Adam

테스트 함수

# Rosenbrock 함수 (비볼록)
f(x, y) = (1 - x)² + 100(y - x²)²

# 최솟값: (1, 1)에서 0

요구사항

• 각 알고리즘 구현
• 학습률 스케줄링 옵션
• 수렴 조건 (gradient norm < epsilon)
• 반복 횟수 기록

평가 기준

• 알고리즘 정확성
• 수렴 속도 비교
• 하이퍼파라미터 처리