대용량 데이터 운영을 위한 효율적인 일괄 처리

개발자는 데이터 처리, 집계 및 실행 환경을 최적화하여 배치 성능을 개선할 수 있습니다.

### 배치 성능의 한계까지 밀어붙이기: 대용량 데이터 처리 방법
이번 발표에서는 카카오페이 결제 플랫폼 팀이 1억 개의 데이터 포인트를 빠르게 처리하기 위해 사용한 방법을 소개합니다. 일괄 처리는 대량의 데이터 생성, 수정, 통계 서식 지정 등 특정 시간, 대량 데이터 처리에 주로 사용됩니다. 개발자들은 배치 성능을 간과하는 경우가 많아 문제를 파악하고 해결하는 데 어려움을 겪습니다. 카카오페이 노멀 플랫폼 팀은 비슷한 어려움을 겪으면서도 데이터 증가에 발맞춰 배치 성능을 성공적으로 개선했으며, 그 노하우를 공유하고자 이번 발표를 준비했습니다.

### 배치 성능 개선: 주요 전략 및 도구
데이터 가져오기 프로세스로 인해 상당한 영향을 미치는 리더에 집중함으로써 배치 성능을 개선할 수 있습니다. 청크 처리는 대규모 배치 처리에 필수적이며, 대량의 데이터를 효과적으로 처리하려면 페이지 매김이 가능한 리더를 사용하는 것이 중요합니다. 제로 오프셋 항목 리더는 쿼리 DSL과 결합하여 제한 오프셋 처리의 성능 저하 문제에 대한 해결책을 제공하며, 청크 처리를 위해서는 커서, 특히 최대 절전 모드 커서 항목 리더를 사용하면 OOM 문제를 피하면서 청크 처리를 할 수 있습니다.

### 노출된 ORM 프레임워크로 쿼리 구현하기
Maeskett 서버는 커서 가져오기 방식으로 작동하지만, 팀은 JDBC 커서 항목을 사용하여 쿼리를 문자열 형식으로 구현하는 데 부담을 느꼈습니다. 그래서 간단한 SQL 구현을 위한 DSL 방식과 Spring JPA보다 더 가벼운 ORM을 지원하는 Jetbrains Kotlin 기반의 ORM 프레임워크인 Exposed라는 새로운 방식을 사용하기로 결정했습니다. 대량 데이터 읽기 성능 개선을 위해 도입한 Exposed 커서 항목 리더는 특히 100만 개 이상의 대량의 항목을 처리할 때 JPA 페이징 항목 리더에 비해 상당한 시간 개선 효과를 보였습니다.

### JPL 페이징 항목 리더 및 배치 데이터 처리 관련 문제
JPL 페이징 항목 판독기는 데이터 읽기 시간이 비선형적이어서 대규모 데이터 집합에서 상당한 지연을 일으킵니다. 일괄 데이터 처리에서 조인 그룹 기준을 사용하면 실행 계획이 잘못되고 쿼리 튜닝이 어려워져 궁극적으로 데이터베이스 부하가 증가합니다. 쿼리 튜닝을 위해 인덱스를 구현하면 삽입 및 업데이트 성능이 저하되어 데이터 용량보다 더 큰 인덱스 용량을 초래할 수 있습니다.

### Redis를 통한 효율적인 데이터 집계
1억 개의 데이터 포인트를 50만 개로 집계하려면 최소 50만 개의 공간이 필요하며, 이는 애플리케이션에서 리소스 할당 문제를 일으키고 메모리 부족(OOM) 오류로 이어질 수 있습니다. 집계 도구로 Redis를 도입하면 효율적인 저장 공간, 빠른 계산, 운영 API를 지원하여 이 문제를 해결할 수 있습니다.
또한 Redis를 사용하면 여러 명령을 묶어 처리하고 네트워크 요청 수를 줄여 집계 시간을 크게 개선하는 Redis 파이프라인을 구현하여 네트워킹에서 발생하는 지연 시간을 줄이는 데 도움이 됩니다.
천만 개 이상의 데이터 포인트를 처리하려면 배치 애플리케이션별 일괄 처리 라이브러리, 배치 삽입, 명시적 플러싱, 배치 환경에서의 JPA 적합성 고려 등을 사용해야 합니다.

### 일괄 처리에서 JPA의 과제
JPA의 더티 검사 및 지속성 관리는 일괄 처리에서 심각한 성능 저하를 유발할 수 있으므로 이러한 관행을 중단하는 것이 좋습니다. 불필요한 열을 업데이트하는 JPA의 경향과 배치 삽입에 대한 제한된 지원도 배치 환경에서 성능 저하를 초래할 수 있습니다. 특히 수백만 개의 데이터 항목을 처리할 때 성능을 크게 향상시킬 수 있으므로 대량의 데이터를 처리할 때는 JPA 대신 일괄 삽입으로 전환하는 것이 좋습니다.

### 스프링 클라우드 데이터 흐름과 k8s로 배치 실행 개선하기
배치 실행을 위한 Spring Cloud Data Flow의 두 가지 주요 기능은 안정적인 리소스 관리를 위한 k8s와의 원활한 통합과 배치 상태를 시각적으로 모니터링하기 위한 Spring Batch와의 완벽한 호환성입니다. 이를 통해 여러 배치를 동시에 실행할 때 리소스를 제어할 수 있으며, 자체 대시보드에서 상세한 배치 상태를 제공하며, Grafana와도 통합할 수 있습니다. 스프링 클라우드 데이터 플로우는 k8s 크론 작업을 이용해 일정과 배치 실행 순서를 관리할 뿐만 아니라 리소스 사용과 반환을 조율하여 전반적인 배치 실행 환경을 개선합니다.

### K8 및 스프링 클라우드 데이터 플로우를 통한 효율적인 대용량 배치 처리
K8s는 배치 처리를 위해 CPU와 메모리를 유연하게 할당할 수 있으며, 기본 애플리케이션 로그와 포드 상태 모니터링도 제공합니다. 스프링 클라우드 데이터 플로우는 배치의 오케스트레이션을 용이하게 하며, 스프링 배치와의 강력한 호환성과 배치 실행에 대한 포괄적인 모니터링을 제공합니다. 이 발표에서는 오프셋 관리, Redis를 사용한 데이터 집계, 대량의 데이터 쓰기를 위한 배치 삽입 사용 등 효율적인 데이터 처리 기술에 중점을 두었습니다.

### 효율적인 일괄 처리: 대용량 데이터 처리를 위한 방법과 기술
* 📊  이번 발표에서는 카카오페이 결제 플랫폼팀이 1억 개의 데이터 포인트를 효율적으로 처리하기 위해 사용한 방법과 빠른 데이터 처리를 위한 팁을 소개합니다.
* 📋  개발자는 배치 처리를 자주 사용하지만 배치 성능을 간과하는 경우가 많아 문제를 식별하고 해결하는 데 어려움을 겪습니다.
* 💡  카카오페이 일반플랫폼팀은 효율적인 방법과 리소스 활용을 통해 같은 양의 데이터를 훨씬 짧은 시간에 처리하는 등 배치 성능을 크게 개선했습니다.
* 🔍  이 프레젠테이션에서는 일괄 처리의 성능과 안정성을 향상시키기 위한 대량 데이터 처리, 청크 처리, 고급 항목 판독기 사용에 대해 설명합니다.
* 📈  SQL 쿼리의 한계를 극복하고 처리 시간을 크게 개선하기 위해 Redis를 사용하여 데이터 집계를 위한 새로운 아키텍처를 도입합니다.
* ✍️  이 프레젠테이션에서는 효율적인 데이터 작성을 위해 작성기에서 JPA를 버리고 배치 삽입으로 전환할 것을 권장하며, 효과적인 배치 실행 환경의 중요성을 강조하고 k8과의 원활한 통합과 고급 모니터링 및 리소스 관리 기능을 위한 Spring Cloud Data Flow를 소개합니다.

Corely

Google 계정으로 시작하기

[Data] Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 / if(kakao)dev2022

[Data] Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 / if(kakao)dev2022

Corely가 요약한 다른 콘텐츠를 탐색해보세요.

추천 콘텐츠