NVIDIA H200

Hopper 아키텍처를 기반으로 고급 메모리가 내장된 H200 Tensor Core GPU 탑재

Chip

Where We Can Help

AI 컴퓨팅의 세계를 한 단계 끌어 올릴 GPU

Hopper 아키텍처 기반
선도적인 메모리 기술인 HBM3e 채용
생성형 AI와 HPC 워크로드를 위한 대용량 데이터 처리에 최적화

고성능 컴퓨팅

H200은 최대 32페타플롭(Petaflops)의 딥 러닝 컴퓨팅 및 1.1TB의 고대역폭 메모리를 제공합니다. 또한 NV링크-C2C 인터커넥트를 통한 NVIDIA Grace CPU와의 결합으로 고성능 HPC 및 AI 애플리케이션을 지원합니다.

HBM3e 채택

H200은 업계 최초로 HBM3e 메모리 기술을 탑재한 GPU로, 이전 모델 대비 2배 용량과 2.4배 더 높은 대역폭을 제공합니다. 이를 통해 AI와 HPC 워크로드에 필요한 빠른 메모리 처리 속도를 실현합니다.

소프트웨어 스택

H200 등 NVIDIA의 가속 컴퓨팅 플랫폼은 AI 및 HPC 분야에서의 혁신을 추구하는 개발자와 기업에게 최적의 솔루션을 제공합니다. 음성 인식, 추천 시스템, 하이퍼스케일 추론 등 다양한 워크로드를 위한 NVIDIA AI Enterprise 소프트웨어 제품군으로 AI 프로젝트를 더 빠르고 효율적으로 추진할 수 있습니다.

다양한 구성

H200은 4개 또는 8개 구성의 HGX H200 서버 보드에서 사용 가능하며, 여기에는 GH200 그레이스 호퍼 슈퍼칩도 포함합니다. 더불어 다양한 데이터센터 환경에서의 배포가 가능하며, NVIDIA의 여러 서버 제조 파트너가 기존 시스템을 H200으로 업그레이드할 예정입니다.

생성형 AI 성능

HGX H200은 NVLink와 NVSwtich 고속 인터커넥트를 기반으로 합니다. 1,750억 개 이상의 파라미터가 포함된 대규모의 모델에 대한 LLM 훈련과 추론 등 다양한 애플리케이션 워크로드에서 최고의 성능을 제공합니다. 8개 방식으로 구동되는 HGX H200은 32페타플롭(Petaflops) 이상의 FP8 딥 러닝 컴퓨팅과 총 1.1TB의 고대역폭 메모리를 제공합니다. 이를 통해 생성형 AI와 HPC 애플리케이션에서 최고의 성능을 발휘합니다.