'가속'의 개념이 분석과 머신 러닝, 딥러닝에 접목되면 어떤 일이 일어날까요? 네, 데이터 과학자, AI 서비스/애플리케이션 개발자는 더 적은 시간에 더 많은 일을 할 수 있습니다. 흔히 말하는 생산성이 높아지는 것이죠. 관련해 오늘 소개할 '가속'은 GPU 기반 인메모리 데이터베이스를 토대로 하는 Kinetica Active Analytics Platform과 NVIDIA RAPIDS의 조합입니다.
데이터 준비부터 머신 러닝 모델 트레이닝과 배포까지 GPU 환경에서 가속
최근 분석과 AI 관련 팀의 공통된 고민은 데이터 준비 작업을 어떻게 더 간소화할 것인가에 대한 것입니다. 흔히 말하는 데이터 전처리를 위한 데이터 파이프라인을 구축하는 것에 관심이 많죠. 이다음 과제로 삼는 것은 분석 또는 모델 트레이닝/배포 관련 워크플로우 최적화입니다. Kinetica와 NVIDIA RAPIDS 조합은 이 두 과제를 한 번에 해결할 수 있는 접근법을 제시합니다.
Kinetica의 RAPIDS를 긴밀히 통합하여 데이터 준비, 모델 트레이닝, 배포를 GPU 가속 기반 환경에 일관성 있게 처리할 수 있는 길을 열었습니다. 위 그림에 대한 설명을 기술적 측면에서 해보겠습니다. 데이터 준비 단계에서는 Kinetica Docker Hub가 제공하는 kinetica-rapids-toolkit 도커 이미지를 사용합니다. 네, RAPIDS가 사전에 통합된 이미지를 가져다 쓰는 것이죠.
간결하고 빠른 데이터 준비 작업
참고로 Kinetica에 RAPIDS가 통합된 것은 단순히 RAPIDS 모듈을 연계했다는 것이 아닙니다. Kientica는 올 초 Active Analytics Workbench(AAW)를 공개했습니다. 네, AAW가 제공하는 다양한 개발과 데이터 처리 관련 편의성이 RAPIDS 라이브러리가 제공하는 가속과 결합되었다고 보는 것이 맞습니다.
이에 따라 데이터 과학자나 개발자는 Jupyter 노트북에 포함된 커넥터를 통해 Kinetica 테이블을 cudf로 간편히 변환할 수 있습니다. 도커 이미지를 올린 다음 테이블을 간편히 변환해 데이터 준비 작업을 마칠 수 있다는 것이죠.
모델 트레이닝과 배포 그리고 인퍼런싱까지 GPU 가속 환경에서 처리
모델 트레이닝과 배포 역시 Kinetica ML 플랫폼 상에서 수행합니다. Kinetica에 있는 데이터 세트를 대상으로 Kinetica와 RAPIDS가 통합된 도커 이미지 상에서 트레이닝을 할 수 있습니다. 이렇게 학습을 마친 모델은 AAW와 연동된 쿠버네티스 플랫폼에 올린 도커 컨테이너를 통해 배포할 수 있습니다. 모델 배포가 이루어지면 이에 연동된 Input 테이블에 데이터가 입력되면 자동으로 인퍼런싱이 이루어지고, 결과 값은 Output 테이블에 저장됩니다. 이 모든 작업이 GPU 가속 기반 환경에서 이루어지는 것이 바로 Kinetica와 RAPIDS 통합이 제공하는 혜택입니다.
이상으로 간단히 Kinetica와 RAPIDS 통합이 어떻게 데이터 파이프라인과 머신 러닝 관련 워크플로우를 개선할 수 있는지 살펴보았습니다. 더 자세한 내용은 유클릭으로 문의 바랍니다.
#유클릭 #Kinetica #인메모리_데이터베이스 #RAPIDS #GPU #GPU_가속 #GPU_데이터베이스 #도커 #컨테이너 #AI_머신러닝_쿠버네티스 #쿠버네티스 #딥러닝 #Jupyter_노트북 #도커_이미지