NVIDIA 데이터센터 GPU 라인업을 보면 이중 무엇이 우리 회사 워크로드에 어울리는지 잠시 헛갈릴 수 있습니다. DGX A100 서버를 도입하면 뭐 선택 고민이 좀 덜하긴 하죠. 하지만 데이터센터 특성상 다양한 환경과 조건에 따라 선택을 해야 하는 경우도 많습니다.
데이터센터 GPU 선택 고민을 간단히 해결하는 표를 공유합니다. 이 표를 보면 우리가 지금 무엇을 선택해야 하는지 아주 명쾌하게 알 수 있습니다.
위 표에서 MIG는 Multi-Instance GPU의 줄임말입니다. MIG는 GPU 자원 활용률을 극대화합니다. 이 기능을 이용하면 고가의 GPU 자원을 놀리는 일이 없습니다.
MIG를 적용하면 한 개의 A100 GPU를 최대 7개의 인스턴스로 분할해 사용자에게 할당할 수 있습니다. 동시에 여러 사용자가 사용해도 성능, 안정성 등 QoS 걱정이 없습니다. 물리적인 GPU 한 개를 여러 용도로 사용할 수 있다는 것이 갖는 의미는? 네, 모델 개발용 시스템, 트레이닝용 시스템, 인퍼런스용 시스템 등을 따로 마련해 운영할 필요가 없다는 것입니다. 또한, 인스턴스를 베어 메탈 형태로 이용해도 되고 컨테이너를 적용해 활용해도 됩니다.