ETL용 GPU? Capgemini의 테스트 결과 Apache Spark 용 NVIDIA RAPIDS Accelerator로 더 낮은 비용으로 ETL 성능 개선이 가능!
프랑스에 본사를 둔 IT 서비스 기업인 Capgemini가 한 소매 기업 고객의 고민 해결을 위해 Apache Spark 및 Databricks용 NVIDIA RAPIDS Accelerator 적용을 고려하였습니다. 최종 프로덕션 환경에는 Databricks Photon을 적용하였지만 Capgemini는 ETL 작업을 가속하는 데 있어 NVIDIA RAPIDS Accelerator의 가능성을 확인할 수 있었습니다. 관련해 Databricks를 Apache Spark용 RAPIDS Accelerator와 결합하여 데이터 엔지니어링 역량을 강화하여 고객의 다양한 요구에 대응할 계획을 세웠다고 합니다.
간단하게 Capgemini의 사전 기술 검토 과정을 알아보겠습니다. Capgemini는 한 소매(Retail) 고객의 요구 사항을 해결해야 했습니다. 고객이 원한 것은 각 소매점에 대한 최적의 상품 배치를 결정할 수 있는 의사결정 솔루션(retail assortment allocation solution)이었습니다.
이 솔루션은 소매 고객이 운영하는 여러 매장의 POS에서 데이터를 수집해 상품 판매량 예측, 상품 재고 수준 예측, 상품 배치 계획 수립 등을 지원해야 합니다. 솔루션 구현 방향을 잡는 것은 Capgemini에게 어려운 일이 아니었습니다.
솔루션의 로직은 심플합니다. POS 거래 기록을 ETL 작업을 통해 처리합니다. 그리고 훈련된 지도 학습 모델을 사용하여 ETL 작업을 통해 가져온 데이터 세트에서 예측을 수행합니다. 이 아이디어를 실제 시스템으로 구현하는 데 있어 발목을 잡는 현실적 이슈가 있었습니다. 수조 건이 넘는 POS 거래 기록의 ETL 작업을 몇 시간 만에 처리해야 한다는 것이 솔루션이 동작할 수 있는 전제 조건이었는데, 현실적으로 짧은 시간 내에 ETL 작업을 완료하는 것은 불가능해 보였습니다. 처음 테스트를 해본 결과 ETL 처리 시간이 며칠이 걸렸다고 합니다. 시스템에 제대로 예측을 수행하려면 몇 시간 안에 마무리 되어야 할 작업이 며칠이 걸린다면? 아무리 다운스트림 기계 학습 모델을 아무리 잘 만들어 훈련을 잘 시켜도 소용이 없는 일이 됩니다.
Capgemini는 문제 해결을 위해 Databricks Photon 이용과 Databricks용 NVIDIA RAPIDS Accelerator를 클러스터에 적용하는 것을 살펴 보았습니다. 시간적으로 보면 Databricks Photon 검토가 먼저 이루어지다 보니 최종 프로덕션 환경에는 Databricks Photon이 적용되었습니다. 그러나 NVIDIA RAPIDS Accelerator 적용 후 테스트한 ETL 성능은 매우 만족스러웠다고 합니다. Capgemini는 소매 고객을 위한 솔룰션을 Databricks와 Spark SQL을 사용하여 Azure 클라우드 환경에서 운영하고자 했습니다. 이에 NVIDIA RAPIDS Accelerator를 적용했는데, 비용 대비 성능 개선 측면에서 보면 NVIDIA RAPIDS Accelerator이 매력적이었다고 합니다. 테스트는 다음과 같은 조건에서 이루어졌습니다.
Databricks Photon은 하이퍼 스레드 구성의 3세대 Intel Xeon Platinum 8370C(Ice Lake) CPU에서 실행
RAPIDS Accelerator는 NVIDIA GPU에서 실행
평가 결과는? Capgemini는 작업자 유형, 운전자 유형, 작업자, 데이터 세트 크기, 플랫폼, 데이터 열 및 데이터 세트 크기의 모든 다양한 조합으로 평가를 수행하였습니다. Capgemini는 DBU/시간 인프라 지출과 클러스터 작업자 투입을 적용해 ADBU(adjusted DBUs per minute)라는 지표를 만들었습니다. 이 지표를 기준으로 비교해 보니 클라우드 플랫폼 비용을 고려할 때 Databricks Photon 런타임에서 Spark를 실행할 때와 비교할 때 RAPIDS Accelerator를 사용할 때 전체적으로 ADBU가 6% 감소했습니다. 이것은 RAPIDS Accelerato를 사용하여 더 낮은 비용으로 성능 개선이 가능함을 보여주는 결과입니다.
실제 프로덕션 환경에는 Databricks Photon이 적용되었지만 Capgemini는 RAPIDS Accelerator 엔지니어링 역량을 통해 ETL 관련 새로운 옵션을 제안할 수 있는 경험을 쌓을 수 있었습니다. RAPIDS Accelerator와 ETL? 이 조합에 대한 더 많은 가능성을 탐색하고 싶다면 RAPIDS Accelerator 사이트를 참조 바랍니다.
#유클릭 #RAPIDS #Databricks #Databricks_Photon #RAPIDS_ETL