top of page

NVIDIA 데이터센터 GPU 선택 가이드

NVIDIA 데이터센터 GPU 라인업을 보면 이중 무엇이 우리 회사 워크로드에 어울리는지 잠시 헛갈릴 수 있습니다. DGX A100 서버를 도입하면 뭐 선택 고민이 좀 덜하긴 하죠. 하지만 데이터센터 특성상 다양한 환경과 조건에 따라 선택을 해야 하는 경우도 많습니다.



데이터센터 GPU 선택 고민을 간단히 해결하는 표를 공유합니다. 이 표를 보면 우리가 지금 무엇을 선택해야 하는지 아주 명쾌하게 알 수 있습니다.





위 표에서 MIG는 Multi-Instance GPU의 줄임말입니다. MIG는 GPU 자원 활용률을 극대화합니다. 이 기능을 이용하면 고가의 GPU 자원을 놀리는 일이 없습니다.


MIG를 적용하면 한 개의 A100 GPU를 최대 7개의 인스턴스로 분할해 사용자에게 할당할 수 있습니다. 동시에 여러 사용자가 사용해도 성능, 안정성 등 QoS 걱정이 없습니다. 물리적인 GPU 한 개를 여러 용도로 사용할 수 있다는 것이 갖는 의미는? 네, 모델 개발용 시스템, 트레이닝용 시스템, 인퍼런스용 시스템 등을 따로 마련해 운영할 필요가 없다는 것입니다. 또한, 인스턴스를 베어 메탈 형태로 이용해도 되고 컨테이너를 적용해 활용해도 됩니다.


조회수 188회댓글 0개

Comments


bottom of page