대용량 배치 처리

문제 설명

수백만 건의 데이터를 효율적으로 처리하는 배치 시스템을 구현하세요.

시나리오

1000만 건의 주문 데이터에 대해 월별 리포트 생성

요구사항

• 청크 단위 처리 (메모리 효율)
• 병렬 처리
• 진행률 추적
• 실패 시 재시도
• 체크포인트 (중단 후 재개)

처리 패턴

Reader → Processor → Writer
         ↓
    Chunk (1000건씩)
         ↓
    Parallel Workers

평가 기준

• 메모리 사용량
• 처리 속도
• 안정성