Spring Boot Batch - 병렬 처리

몇 주전 사용자 6만명을 대상으로 Batch 처리를 하는 이벤트가 있었다. 그나마도 모수는 30만명+ 이었고 그중에서 6만명을 추려서, 추린 사용자 대상으로 특정 작업을 수행하는 것이 Task...
9월달에 완성해놓고도 틈틈이 잘못된 것은 없나 확인할 정도로 매우매우 신경이 쓰였었는데,
드디어 몇 주전 처음 운영환경에서 수행한 날, 결론적으로 기능은 정상적으로 잘 작동했다! 그러나 그 배치 작업이 생각보다 느리게 돌았다. 어느정도냐면 밥 먹고 밖에 나가서 커피 뜨거운 거 한잔 호호호 천천히 불어먹고 들어와서, 거기다 드라마 한 편 봐야 작업이 완료되는 속도. T.T

개선이 시급해서 병렬 처리 방법을 미리 정리해둔다. (잘 적용되면 좋은 Before & After가 되겠지..?)
우선은 나만 알아보게끔 요점만 정리하지만, 이해도가 깊어지면 누가 읽어도 알아먹게끔 정리할 수 있게되겠지.

참고로 나의 경우 모든 스터디는 Output이 있어야 뇌에 그 내용이 남는데, 블로그 post도 그 output으로서의 역할이 유효한지 테스트해보기 위해 몇번은 포스트 정리를 더 해볼 생각이다.

---

Parallel Processing 방식 몇가지

* 크게 Multi process, Single Process + Multithread로 나뉜다
* 그 중 Multithreaded Steps, Parallel Steps, Partitioning 만 정리해본다

Multithreaded Steps

* Single Process & Multithread
* 한 Step을 여러 스레드로 실행한다.
* Taskexecutor를 사용한다

Parallel Steps

* Single process & multihtread
* 각자 다른 step들을 동시에 처리할 수 있다.
* flow를 만들고 > FlowBuilder로 Flow를 만든다.
* 주의! 각각의 Flow 별 start 이후에 있는 next는, 모든 Flow의 start가 실행된 후 next가 실행된다.

Partitioning

* 'Single process + Multithread' 또는 'Multi Processes'
* Implement by PartitionHandler and StepExecutionSplitter
* TaskExecutorPartitionHandler 는 PartitionHandler 의 구현체. Step을 여러 thread로 실행한다.

Spring Batch vs. Spring Boot Batch

* @EnableBatchProcessing 어노테이션으로 기존의 Batch 설정을 대체할 수 있다
* Debugging이 가능하다
* xml 설정 대신 Java config 방식 설정을 권고한다
* 실행방법이 간단하다
* Logging framework가 내장되어있다.

---
참고
* https://godekdls.github.io/Spring%20Batch/scalingandparallelprocessing/
* http://www.chidoo.me/index.php/2017/12/19/spring-batch-parallel-execution/
* https://oingdaddy.tistory.com/182