NVIDIA DGX H100

NVIDIA의 DGX H100은 H100 Tensor Core GPU를 장착한 4세대 제품입니다. DGX H100은 지금껏 없던 수준의  성능을 제공하여 거대 모델도 거뜬히 소화합니다. 더불어 모든 세대 DGX 시스템의 강점인 하드웨어와 소프트웨어의 완벽한 통합으로 AI 전용 시스템 도입, 구축, 운영 편의성이 높습니다. DGX H100은 성능 측면에서 이전 세대와 확실한 차이를 보입니다. DGX A100 모델과 비교해 컴퓨팅 성능은 6배, 네트워크 처리 속도는 2배 더 빠릅니다. 이런 개선으로 DGX H100은 자연어, 이미지, 비디오 처리 등 거대 모델의 훈련을 거뜬히 처리합니다. 더불어 추천  시스템, 예측 시스템, 첨단 분석 등 다양한 AI 활용 시나리오를 여유 있게 수용합니다. 

AI 데이터센터 빌딩 블록

DGX DGX H100은 AI 프로젝트의 다양한 요구 사항을 충족합니다. DGX H100은 총 6,400억 개의 트랜지스터가 있는 8개의 H100 GPU를 내장하고 있습니다. 그리고 고속 네트워킹, 스토리지와 보안 서비스 오프로드 등을 지원하는 2개의 NVIDIA BlueField-3 DPU도 포함돼 있습니다. 이 밖에도 8개의 NVIDIA ConnectX-7 Quantum-2 InfiniBand 네트워킹 어댑터는 컴퓨팅 및 스토리지 연결을 위해 400GB/s의 처리량을 제공합니다. 또한, NVSwitch와 결합된 4세대 NVLink는 각 DGX H100의 모든 GPU 간에 이전 세대보다 1.5배 향상된 900GB/s의 연결을 제공합니다.

스크린샷 2022-10-03 오후 7.48.35.png
단독으로 사용하면 슈퍼컴퓨터, 클러스터로 구성하면 AI 데이터센터

DGX A100의 성능은 슈퍼컴퓨터 급입니다. 단일 시스템으로 5 petaFLOPS 성능을 냅니다. 이 시스템에는 총 8개의 A100 Tensor Core GPU와 320GB/640GB의 GPU 메모리가 장착됩니다. GPU 간 연결은 6세대 NVSwitch 인터페이스가 적용되어 쌍방향 대역폭이 4.8TB에 이릅니다. 이는 426시간 분량의 HD 화질 비디오를 1초에 전송할 수 있는 대역폭입니다. 이전 세대인 V100 GPU와 비교할 때 쓰루풋이 20배가 더 높다 보니 GPU 성능도 비교 불가 수준입니다.

스크린샷 2022-10-03 오후 7.52.16.png
​비즈니스 요구에 맞춰 확장

DGX H100은 차세대 NVIDIA DGX SupoerPOD 구축을 위한 빌딩 블록입니다. DGX SuperPOD 구축시 DGX H100 노드와 H100 GPU는 NVLink 스위치 시스템과 NVIDIA Quantum-2 InfiniBand로 연결됩니다. 이를 통해 이전 세대보다 11배 높은 총 70TB/s의 대역폭을 제공합니다. 또한, AI 클러스터의 성능 보장에 있어 매우 중요한 스토리지는 NVIDIA가 인증한 파트너 솔루션을 도입할 수 있습니다. 인증 스토리지는 DGX SuperPOD AI 컴퓨팅의 요구 사항을 충족하도록 사전 검증을 거친 솔루션입니다. 

 

NVIDIA DGX-Ready 소프트웨어를 활용하면 DGX H100 및 DGX SuperPOD 환경을 위한 MLOps 체계를 시행착오 없이 마련할 수 있습니다. 유클릭은 NVIDIA DGX-Ready 인증을 받은 run:ai를 공급하고 있습니다.