기업의 AI 투자는 점점 더 늘고 있습니다. AI 기술 활용도 초거대 모델 시대를 향해 가고 있고요. NVIDIA는 이런 변화에 발맞춰 기술 혁신을 이어가고 있죠. A100 발표 때도 입이 떡 벌어질 정도였는데, H100 역시 기대를 저버리지 않고 더 크고 강력한 컴퓨팅 파워에 목말라 하는 시장이 수요를 충족하고 있습니다.
이번 포스팅에서는 H100에 적용한 4세대 NVLink & NVLink 네트워크 기술이 가져올 성능 측면의 개선을 좀 알아보겠습니댜.
4세대 NVLink 무엇이 달라졌나?
초거대 모델 훈련을 뒷받침하려면 서버 클러스터의 모든 GPU 간 고속 통신이 원활히 이루어져야 합니다. PCIe를 적용하면 가능할까요? 아닙니다. 제한된 대역폭으로 성능 병목 현상이 발생할 수 있습니다. 클러스터 환경에서 GPU 자원 간 연결을 가속하는 데 있어 가장 빠르고 신뢰할 수 있는 것은 바로 NVLink입니다.
LVLink는 데이터의 성공적인 전송을 보장하는 링크 수준 오류 감지 및 패킷 재생 메커니즘 같은 복원 기능을 두루 갖추고 있습니다. 이런 기술적 특징 덕에 GPU 간 연결에 있어 저지연, 무손실을 보장합니다.
H100에 적용한 LVLink는 4세대입니다. A100의 3세대와 비교해 대역폭이 1.5배 더 커졌습니다. PCIe Gen5와 비교하면 7배 차이가 납니다. 좀더 구체적으로 숫자를 비교하면 다음과 같습니다.
H100에는 900GB/s의 대역폭을 제공하는 18개의 4세대 LVLink가 포함
A100에는 600GB/s의 대역폭을 제공하는 12개의 3세대 LVLink가 포함
NVLink 네트워크 개선 사항
4세대 LVLink 외에도 H100은 여러 컴퓨팅 노드에서 최대 256게의 GPU 간 통신을 위한 LVLink 네트워크 상호 연결을 지원합니다. LVLink 네트워크는 새로운 주소 공간을 도입하였습니다. 모든 GPU 주소 공간과 네트워크 주소 공간을 분리하기 위해 H100은 새로운 주소 변환 하드웨어를 채용하였습니다. 그덕에 더 많은 수의 GPU로 NVLink 네트워크를 확장할 수 있게 되었습니다.
새로운 NVLink 스위치 시스템
NVIDIA는 새로운 NVLink 네트워크 기술과 3세대 NVSwitch를 결합해 전례 없는 수준의 통신 대역폭으로 대규모 네트워크 구축을 가능하게 만들었습니다. NVLink 스위치 시스템은 최대 256개의 GPU를 지원합니다. 다음 그림은 A100과 H100을 기반으로 한 32노드, 256 GPU DGX SuperPOD를 비교한 것입니다. H100 기반 SuperPOD는 선택적으로 새로운 NVLink 스위치를 사용하여 DGX 노드를 상호 연결합니다.
이상으로 네트워크 측면에서 H100의 개선 사항을 알아 보았습니다. 더 자세한 내용은 유클릭으로 문의 바랍니다.