NVIDIA Ampere 아키텍처

전통적인 데이터센터는 AI 워크로드와 같이 빠르게 증가하는 워크로드를 수용하기에 확장성과 유연성이 떨어집니다. 여러 세대의 CPU, GPU가 혼재되어 있고 서버 간 자원 공유가 불가능한 환경이 일반적입니다. 이런 구조적 한계를 넘어서는 것이 있습니다. 바로 NVIDIA Ampere 아키텍처입니다. 이 아키텍처를 따르는 A100 GPU는 AI 데이터센터 구축과 운영 방식을 송두리째 바꿉니다.

GPU 컴퓨팅의 개념 재정립

NVIDIA Ampere 아키텍처 기반 GPU는 데이터센터 확장성과 유연성의 개념을 재정립합니다. GPU의 성능은 그 어느 때보다 높고, 모든 GPU 기반 컴퓨팅 자원을 유연하게 통합할 수 있고, 데이터센터 구축과 확장을 매우 간소화합니다. NVIDIA Ampere 아키텍처를 따르는 A100 GPU는 이전 볼타 아키텍처 기반 GPU qhek 20배 이상 성능이 높습니다. 다양한 서버에 장착할 수 있는 형태로 공급되며, NVIDIA의 DGX A100, DGX SuperPOD에도 장착됩니다. NVIDIA Ampere 아키텍처 기반 A100 GPU가 이전 세대와 확실히 차별화되는 이유는 다섯 가지로 설명할 수 있습니다. 이는 곧 Ampere 아키텍처의 주요 특징이기도 합니다.

NVIDIA Ampere 아키텍처는 이전 세대인 볼타 아키텍처에서 NVIDIA가 처음 선보인 Tensor Core를 한층 더 개선한 3세대 기술을 채택하였습니다. Tensor Core는 몇 주 걸리던 트레이닝 시간을 몇 시간으로 줄이는 강력한 가속력을 보여줍니다. 3세대 기술은 TF32(Tensor Float) 및 FP64 Floating Point 64)로 더 높은 수준의 정밀도를 제공합니다. TF32와 FP32는 동일하게 작동합니다. 따라서 코드 변경 없이 최대 20배 이상 속도를 가속할 수 있습니다. 또한, NVIDIA Automatic Mixed Precision을 적용하면 몇 줄의 코드만 추가해도 더 높은 성능을 얻을 수 있습니다.

GPU 간 데이터 이동 속도를 최상으로 유지하는 것은 AI 데이터센터 구축과 확장에 있어 매우 중요합니다. NVIDIA Ampere 아키텍처는 3세대 NVLink를 지원합니다. 이에 따라 600GB/s의 속도로 GPU 간 통신이 가능합니다. 또한, NVIDIA NVSwitch와 함께 사용하면 데이터센터 내 GPU 서버 간 데이터 전송도 최고 속도로 유지할 수 있습니다. AI 신경망의 크기는 점점 커지고 있습니다. 이 네트워크에 적용된 매개 변수의 수 또한 늘고 있습니다. 모든 매개변수가 예측 및 인퍼런싱에 필요한 것은 아닙니다. 몇몇은 값이 대부분 0을 가리키는 희소 행렬(sparsity)로 변환해도 모델의 정확도에 영향을 끼치지 않습니다. A100에 적용된 Tensor Core 기술은 sparse 한 모델 처리 성능을 2배 이상 높입니다.

차세대 AI 데이터센터를 움직이는 기술 Multi-Instance GPU

NVIDIA Ampere 아키텍처에서 처음 선보인 MIG(Multi-Instance GPU)는 A100 GPU 한 개를 최대 7개의 인스턴스로 나누어 각각을 사용자에게 제공합니다. MIG는 말 그대로 GPU와 메모리 자원의 배치와 회수를 인스턴스 단위로 할 수 있는 기능입니다. DGX A100 시스템에 장착된 A100 GPU 하나는 7개의 인스턴스로 나누어 자원을 할당할 수 있습니다. DGX A100 시스템에 총 8개의 A100 GPU가 장착됩니다. 따라서 DGX A100 한 대는 총 56개의 인스턴스에 자원을 할당할 수 있습니다. 이는 다른 말로 표현하면 56명의 사용자가 자신의 워크로드를 할당받은 인스턴스에 올려 운영할 수 있다는 것입니다. 이런 특성을 종합해 DGX A100을 'Universal System'이라고 부릅니다. 트레이닝, 인퍼런싱, 분석 등 다양한 워크로드를 단일 시스템 환경에서 여러 사용자가 각자의 인스턴스를 띄워 운영할 수 있습니다. 

Contact Us

주소: 서울특별시 중구 퇴계로 286 쌍림빌딩 8/9층 (주)유클릭 AI 사업본부

전화: 02-6320-0121

© 2030 by uDNA & Uclick

  • 블랙 블로거 아이콘