GPU 가상화 방법은 크게 VM웨어 DirectPath I/O, NVIDIA GRID, 비트퓨전 FlexDirect 세 가지로 구분할 수 있습니다. 이중 오늘은 DirectPath I/O의 유즈 케이스 시나리오를 살펴보겠습니다.
이전 포스팅에서 소개한 바와 같이 GPU 가상화 방법은 '최고'를 고르는 것이 아니라 우리 조직에 맞는 '최선'을 선택하는 것이 좋습니다. VM웨어가 제공하는 DirectPath I/O는 보편적인 딥러닝, 머신 러닝 모델 개발, 트레이닝 작업에 활용할 수 있는 가상화 기법입니다.
이 기능의 특징은 ESXi 하이퍼바이저를 거치지 않고 VM에 올린 게스트 운영체제가 PCI 타입의 GPU 카드에 직접 접근할 수 있다는 것입니다. 네, 중간에 거치는 것이 줄기 때문에 GPU의 성능을 최대한 살리는 데 좋습니다.
DirectPath I/O는 보통 한 개의 VM에게 물리적인 GPU 자원을 독점적으로 할당하는 방식으로 쓰입니다. 한 개의 VM에 할당할 수 있는 GPU는 최대 4개입니다.
팀원 각각에게 독립적인 개발, 트레이닝, 인퍼런싱 환경을 제공하는 시나리오
VM웨어 vSphere 환경에서 DirectPath I/O 설정은 간단한 편입니다. PCI 타입의 GPU가 장착된 시스템에서 바이오스, 호스트 서버, VM 설정 3단계만 거치면 됩니다. 이 내용은 VM 블로그를 참조 바랍니다.
DirectPath I/O를 이용한 GPU 가상화의 경우 GPU가 장착된 물리적인 시스템 단위로 이루어집니다. 이는 장점이자 단점이 될 수 있습니다. 장점은 예측 가능한 선에서 성능을 데이터 과학자나 AI 개발자에게 보장할 수 있다는 것입니다. 단점은 전사 측면에서 자원 통합을 이루기에는 유연성이 떨어진다는 것입니다.
장점을 살리는 것이 가장 좋은 활용 시나리오겠죠? 예를 하나 들어 보겠습니다. 4개의 GPU를 장착한 NVIDIA DGX 워크스테이션와 같이 여러 개의 GPU를 장착한 시스템을 AI 관련 팀에서 도입했다고 해보겠습니다. 이때 DGX 워크스테이션을 한 사람이 독점적으로 사용하는 것이 아니라 팀이나 부서 단위의 공유 자원으로 활용하고자 한다면? VM웨어 vSphere 환경을 꾸려 팀 공유 자원으로 유용하게 사용할 수 있습니다. 팀 구성원에게 각각 독립적인 GPU 자원을 VM 단위로 할당하면 4개의 GPU를 공유 자원으로 묶을 때 겪을 수 있는 자원 동시 사용에 따른 성능 저하 같은 문제 걱정 없이 넉넉한 성능을 이용해 모델 개발, 트레이닝 등의 작업을 할 수 있습니다.
딥러닝, 머신 러닝 외에 각종 해석(시뮬레이션) 작업을 하는 HPC 워크로드를 운영하는 팀도 DirectPath I/O를 이용한 GPU 가상화의 이점을 누릴 수 있습니다. GPU 가상화에 대한 더 자세한 내용은 uDNA 페이지를 참조 바랍니다.