[Spring] Spring Batch로 한 달 지난 데이터 삭제하기

Amazon EventBridge 스케줄러를 이용해서 주기적으로 디바이스를 실행시켰다.

스케줄 데이터가 계속 늘어나기 때문에 데이터를 update (또는 create)한지 한 달이 지나면 자동으로 삭제되는 기능을 개발해야했다.

 

Spring Batch 사용은 처음이라 어떻게 할지 구글링하던 중에 네이버 개발자 분 중 Spring Batch를 더 우아하게 사용할 수 있는 방법을 제시한 게시글을 보게 되었다. 심지어 코틀린으로 활용하는 방법까지 있어서 참고하기 좋은 글이었다만..😊

👉하지만 사용하려고 뜯어보니..  문제가 있어서 다른 방법을 택했다🥲 (밑 글 참고)

 

Spring Batch를 활용해 개발한 것을 기록해보겠다

(참고로 프로젝트에서 활용한 Spring Batch는 4.X.X이다.)

💪 목표 : update(또는 create)된지 한 달이 지난 데이터 삭제하기 !

Spring Batch란?

"A lightweight, comprehensive batch framework designed to enable the development of robust batch applications vital for the daily operations of enterprise systems." 

정해진 시간에 일괄적으로 대용량의 데이터 처리를 위한 batch 처리 프레임워크로, 스케줄러를 대체하기보다는 스케줄러와 함께 작동

• 다양한 batch 처리 지원
  
  • 대량의 데이터 읽기/쓰기
  • 데이터 변환 및 처리
  • 병렬 처리 및 다중 스레드 지원
• 트랜잭션 관리
• 모니터링 및 관리 기능 

---

🔷 주요 구성 요소

• Job
  • batch 작업의 논리적 단위로, 여러 step으로 구성됨 👉 전체 batch process 정의
  • 배치 작업의 메타 데이터 관리
  • Step 순서 정의
  • JobParameters 받음

• Step
  • 실제 Batch 작업을 수행하는 역할
  • Job의 세부 작업 단위로, 개별적으로 실행됨
  • chunk 기반 (chunk-oriented), tasklet 기반으로 나뉨
  • ItemReader, ItemProcessor, ItemWriter로 구성
    
    

Chunk-oriented Processing with Item Processor

• ItemReader
  • 데이터 읽어오는 역할
• ItemProcessor
  • 읽어온 데이터 처리
• ItemWriter
  • 처리된 데이터 저장

ItemReader, ItemProcessor, ItemWriter를 묶어서 Tasklet으로 부르기도 한다. 
👉 하나의 트랜잭션에서 처리하므로 단순한 처리 시 주로 사용

• JobRepository
  • Job 실행 정보를 저장하고 관리
  • Step 저장

---

🔹 Spring Batch 스키마 구조 

👉 배치 실행하고 관리하기 위한 메타 데이터 저장

• 초기 설정 필요
• Spring Batch Framework에 속하는 부분이므로 수정하지 않고 조회만 함
• Job 이력, 파라미터 등 실행 결과 조회

 

 

Spring Batch Plus

https://github.com/naver/spring-batch-plus
👉 Spring Batch를 조금 더 편리하게 사용할 수 있도록 유용한 기능을 제공하는 헬퍼 라이브러리

 

 

🔷 DeleteMetadataJob

• 날짜를 기준으로 해당 날짜 이전에 수행된 모든 Job, Step의 metadata를 삭제하는 Job

---

👉 이걸 사용하려고 했으나 ...

파라미터로 dataSource를 넘겨주어야했다.

 

하지만 MongoDB를 사용하는 프로젝트라서 JDBC API를 통해 관계형 데이터베이스와 상호작용하는 DataSource를 MongoDB에 적용시킬 수 없었기 때문에 다른 방법을 택해야했다..ㅠ

 

 

 

 

update된지 한 달 지난 스케줄 삭제 배치 처리

• DB에 저장된 데이터 중 update된지 한 달이 지난 스케줄 찾는 로직 구현 👉 ItemReader
• 대상 데이터를 삭제하는 프로세스 구현 👉 ItemProcessor & ItemWriter 
  • 단순히 삭제만 하면 되기 때문에 Tasklet을 활용해 프로세스를 구현했다.

---

🔷 Batch 처리 순서 

1. 스케줄 Job 설정
2. 스케줄 Step 설정
3. 스케줄 Reader, Processor, Writer 👉 tasklet 설정

 

🔶Job 설정

@Configuration
class DeviceControlBatchConfiguration(
    private val jobBuilderFactory: JobBuilderFactory,
    private val stepBuilderFactory: StepBuilderFactory,
    private val deviceControlTasklet: DeleteDeviceControlTasklet
){

    val log = LoggerFactory.getLogger(this::class.simpleName)

    @Bean
    fun deleteJob(): Job {
        return jobBuilderFactory.get("deleteDeviceControlJob")
            .start(deleteStep())
            .build()
    }
}

• Job 객체를 쉽게 생성하고 구성할 수 있도록 하는 JobBuilderFactory를 주입받음
• "deleteDeviceControlJob"의 이름을 가진 JobBuilder 생성
• start(deleteStep())으로 Job의 첫번째 Step 설정

 

🔶 Step 설정

@Bean
fun deleteStep(): Step {
    return stepBuilderFactory.get("deleteDeviceControlStep")
        .tasklet(deviceControlTasklet)
        .build()
}

• Step 객체를 쉽게 생성하고 구성할 수 있도록 하는 StepBuilderFactory를 주입받음
• "deleteDeviceControlStep"의 이름을 가진 StepBuilder 생성
•  tasklet(deviceControlTasklet)으로 이 Step에서 실행할 Tasklet 설정

✨ Tasklet이란?
👉 Spring Batch에서 배치 작업의 단계를 정의하는 인터페이스로, 단일 작업 단위로 한 번에 하나의 작업을 수행하는 데 사용됨 = Step 안에서 수행될 기능 명시

- StepContribution : 현재 step의 실행에 대한 메타 데이터를 나타냄 👉배치 처리 중에 발생하는 다양한 정보 추적
- ChunkContext : 청크 처리에 대한 컨텍스트 정보 제공
- RepeatStatus : 작업이 계속 반복될지, 완료되었는지 여부 나타냄

 

 

🔶 Tasklet 설정

@Component
class DeleteDeviceControlTasklet(
    private val deviceControlScheduleRepository: DeviceControlScheduleRepository
) : Tasklet {
    // 배치 작업에서 실제로 수행될 작업 정의
    override fun execute(contribution: StepContribution, chunkContext: ChunkContext): RepeatStatus {
        val oneMonthAgo = LocalDateTime.now().minusMonths(1)
        deviceControlScheduleRepository.findAllByUpdatedAtBefore(oneMonthAgo)
            .flatMap{ deviceControlSchedule -> deviceControlScheduleRepository.deleteById(deviceControlSchedule.id!!)}
            .then(Mono.empty<Void>())
            .block()
        return RepeatStatus.FINISHED
    }
}

• findAllByUpdatedAtBefore(oneMonthAgo) : update된지 한달이 지난 데이터 찾기
• deleteById() : 해당하는 id값을 가진 객체 삭제하기
• .block() : 비동기 작업의 결과 기다리기 위해 사용 👉 현재 스레드 차단하고 결과 반환받음
• return RepeatStatus.FINISHED : 상수를 반환하여 Spring Batch는 현재 단계가 완료되었으며 다음 단계 진행 또는  배치 작업 종료할 준비되었음을 의미

 

🔶 스케줄러 사용해서 주기적으로 Batch 실행시키기

• JobParameters : Spring Batch의 Job 실행 시 전달되는 매개변수로 배치 작업의 동작 제어 👉 파일 경로, 날짜, ID 등과 같은 동적 값을 배치 작업에 전달 

• JobParametersBuilder : JobParameters 객체를 쉽게 구성할 수 있도록 도와주는 빌더 클래스
• JobLauncher : Job 실행 👉 배치 작업 시작하고 작업 실행의 상태 관리 및 작업 파라미터 전달 기능 제공

 

 

@Component
class DeviceControlBatchScheduler (
    @Autowired private val jobLauncher: JobLauncher,
    @Autowired private val deleteJob: Job,
){
    private val log = LoggerFactory.getLogger(DeviceControlBatchScheduler::class.java)

    @Scheduled(cron="0 40 * * * ?")
    fun runJob(){
        val jobParameters = JobParametersBuilder()
            .addLong("startTime", System.currentTimeMillis())
            .toJobParameters()

        val jobExecution = jobLauncher.run(deleteJob, jobParameters)
        log.info("Job Execution Status: ${jobExecution.status}")
    }
}

---

👉 find using query를 보면 한 달 전의 데이터를 가져오는 것으로 보인다.
가져온 후 remove using query를 통해 삭제되는 것을 확인할 수 있다. 

 

 

 

오류

🔷 Could not autowire. No beans of 'JobBuilderFactory' type found.

👉 cache 삭제 후 정상 작동

 

 

🔷 Bean 등록 및 datasource 오류

 

처음에는

implementation 'org.springframework.boot:spring-boot-starter-batch'

이걸로 의존성 추가를 해주었는데 dataSource와 Bean 관련해서 오류가 발생했다. 

implementation("org.springframework.batch:spring-batch-core:4.3.7")

👉 위에 있는 걸로 변경했더니 정상적으로 실행됐다.

 

💥위의 두 차이점은 ..?

• spring-boot-starter-batch는 자동 구성을 제공하고 기본적인 배치 작업 설정을 간편하게 할 수 있다.

https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-batch/3.3.2

• spring-batch-core
• spring-boot-starter
• spring-boot-starter-jdbc

 

• spring-batch-core는 Spring Batch의 핵심 라이브러리만 포함하는 의존성으로, Spring Batch 기본 기능만 제공하며 Spring Boot의 자동 구성 기능은 포함되어있지 않으므로 Spring Boot의 자동 구성, 데이터베이스 설정 등은 별도로 설정해야했다.

 

현재 프로젝트는 앞서 말했듯이 mongoDB를 사용하고 있다.

하지만 spring-batch는 기본적으로 RDB를 사용해 배치작업의 메타데이터를 저장하고 관리한다.

그러므로 spring-boot-starter-batch로 의존성을 추가할 경우, spring-boot-starter-jdbc로 인해 RDB를 기본적으로 활용할 것으로 생각되어 DB를 호환하는데 문제가 있는 것으로 보인다. 

 

spring-batch-core는 starter와 달리 데이터베이스 설정을 별도로 해야하기 때문에 아마 정상적으로 실행되는 것 같고, 메타데이터를 RDB 외의 저장소에 저장하려면 커스터마이징해야할 것 같다. 

 

MongoDB로 커스터마이징하는 방법은 추후에 정리할 예정이다...🙂

 

 

 

참고자료

https://d2.naver.com/helloworld/9879422

https://github.com/naver/spring-batch-plus/blob/main/doc/ko/job/delete-metadata-job.md

https://tech.kakaopay.com/post/spring-batch-performance/

https://spring.io/projects/spring-batch

https://docs.spring.io/spring-batch/reference/domain.html