최근 AWS re:invent 행사가 열리고 있는데요, 관련해 소식들이 쏟아지고 있습니다. AI 쪽 소식 중 주목할 만한 것 몇 가지 추려 봅니다. 첫 번째 소식은 NVIDIA AI 소프트웨어를 AWS 마켓플레이스에서 선택해 쓸 수 있게 된 것입니다. 대략 목록을 뽑아 보면 다음과 같습니다. CUDA by NVIDIA MXNet by NVIDIA PyTorch by NVIDIA TensorFlow by NVIDIA TensorRT by NVIDIA TensorRT Inference Server by NVIDIA 참고로 이들 소프트웨어는 아마존 ECS(Elastic Container Service)나 EKS(Elastic Container Service for Kubernetes) 상에 컨테이너를 배포할 때 사용할 수 있는 것들입니다. 마켓플레이스 범주로 보면 컨테이너 카테고리에 들어갑니다.
두 번째 소식은 새로운 GPU 가속 기반 EC2 인스턴스 출시입니다. 아마존은 EC2(Elastic Compute Cloud)에 새로운 P3dn GPU 인스턴스를 서비스합니다. 이 서비스는 NVIDIA Tesla Tensor Core V100 GPU를 기반으로 하며 머신 러닝과 고성능 컴퓨팅 애플리케이션 운영을 위한 상품입니다.
새로운 GPU 인스턴스에서 주목할 부문은 네트워크 성능인데요 100Gbps 쓰루풋을 통해 대규모 분석 환경에서 머신 러닝과 HPC 워크로드를 무리 없이 돌릴 수 있다는 것이 아마존의 설명입니다. 참고로 기존 P3 인스턴스와 비교할 때 새로운 인스턴스의 경우 vCPU는 1.5배 더 많고, GPU 메모리는 2배 더 크고, 네트워크 쓰루풋 4배가 큽니다.
아마존이 이렇게 나오면 다른 클라우드 사업자도 비슷한 상품을 내놓기 바빠질 것 같습니다. 이에 따라 기업은 앞으로 온프레미스와 클라우드를 잇는 하이브리드 AI 인프라 운영의 유연성 면에서 선택지가 넓어질 전망입니다. NVIDIA GPU 기반 인프라를 사내에 갖추어 놓고 운영하면서 시기적으로 자원을 늘려야 하는 모델 개발 초기나 트레이닝 시점에 클라우드 자원을 활용하는 등의 하이브리드 시나리오 전개가 앞으로 더 수월하겠네요.
