AI 인프라 구축과 운영 관련 하이브리드 클라우드 전략

최근 아마존에서 GPU 인스턴스를 이용할 수 있는 EKS(Elastic Container Service for Kubernetes)의 이용 가능 지역에 서울이 추가되었다는 소식이 발표되었습니다. EKS는 AWS 상에서 쿠버네티스를 더 편하게 활용할 수 있게 돕는 서비스인데요, 컨네이너 기반 애플리케이션의 배포와 관리 그리고 확장이 매우 간편하다는 장점으로 많은 이들이 사용하고 있습니다. 이번 서울 추가에 따라 이제 한국에서도 NVIDIA Tensor Core V100과 K80 GPU 기반 EC2 P3, P2 인스턴스를 제 성능(?)을 누리며 이용할 수 있게 되었습니다. 관련해 아마존에서는 딥러닝, HPC 등에 적합한 인스턴스라고 홍보를 하고 있습니다.

많은 기업이 GPU 가속 기반 시스템 인프라를 갖추고 딥러닝, 머신 러닝 관련 프로젝트를 하고 있습니다. 더불어 GPU 기반 인스턴스를 클라우드 상에서 쓰는 곳도 많죠. 이 그림을 잘 보면 한 가지 단어가 떠오릅니다. 네, '하이브리드'입니다. 일반적인 업무 시스템의 경우 엔터프라이즈 환경에 적합한 클라우드 도입 모델로 '하이브리드'를 많이 추천하죠. 실제로 사내에서 운영하는 것이 유리한 것과 클라우드에 올리는 것이 더 효율적인 것을 구분하는 것이 요즘 클라우드 도입의 큰 흐름입니다.

AI 프로젝트를 위한 시스템 인프라도 비슷한 접근을 취하는 것이 좋습니다. 가령 알고리즘 개발, 트레이닝, 인퍼런싱 과정 중 자원 사용량이 많은 구간이 있다면? 이때 즉시 시스템을 증설하는 것도 방법이지만, 잠시 클라우드 인스턴스를 사용하는 것도 좋습니다.

사내외 클라우드의 GPU 기반 자원을 자유롭게 쓰려면? 애플리케이션 배포, 관리 환경이 같아야 합니다. 이를 위한 기준점으로 컨테이너 활용을 많이 선호합니다. 쿠버네티스를 기본적인 AI 관련 소프트웨어 배포와 운영 환경으로 하면 프로젝트 단위, 연구원 단위로 각각 개별적인 소프트웨어 스택을 구성해 작업하기 좋다는 이점도 따라옵니다.

이상으로 간단히 AI 인프라를 위한 하이브리드 접근에 대해 정리해 봤습니다. 온프레미스 환경에 GPU 가속 기반 클러스터 인프라나 워크스테이션을 운영하면서 하이브리드 방식으로 클라우드를 활용하는 것이 관심이 있다면 유클릭으로 문의 바랍니다.

#AWS #아마존 #유클릭 #NVIDIA #EKS #쿠버네티스 #컨테이너 #머신러닝 #딥러닝 #AI #GPU