VAST-NVIDIA

Reference Architecture

NVIDIA의 최신 DGX A100 AI 시스템과 VAST의 유니버셜 스토리지 플랫폼을 통합한 새로운 레퍼런스 아키텍처가 공개되었습니다. 이 아키텍처는 GPU 집약적 및 스토리지 집약적 AI 워크로드를 위한 페타바이트 규모의 AI 인프라 솔루션을 제공하기 때문에 이를 통해 대규모 AI 워크로드의 스토리지 성능을 크게 향상시킬 수 있고, 새로운 AI 이니셔티브를 위한 인프라 구축을 원하는 고객은 컴퓨팅 및 스토리지 자원을 쉽고 선형적으로 확장함으로써 모든 머신러닝, 딥러닝 워크로드 요구사항을 충족할 수 있는 높은 성능(예측 가능한 성능)을 드라이브할 수 있습니다.

2021년 1월 21일, NVIDIA DGX A100 시스템과 VAST Data 유니버셜 스토리지를 기반으로 한 신규 레퍼런스 아키텍처가 발표되었습니다. NVIDIA와 VAST Data가 공동 설계, 구축한 아키텍처로서 요즘 유행하고 있는 대규모 대화형 AI 모델 트레이닝과 페타바이트 규모의 데이터 분석 등 주요 AI 유즈 케이스에 대한 스토리지 성능을 크게 높일 수 있고, 더불어 불필요한 비용과 복잡성을 가중시키지 않고 성능을 극대화할 수 있는 방안을 제시합니다. 

지금까지 많은 AI 기업들은 GPU 집약적 또는 스토리지 집약적인 워크로드를 기반으로 하는 두 가지 특정 인프라 구성 중 하나를 선택해야 했으며, 요구 사항이 다양해지고 진화함에 따라 성능과 인프라의 선택에 있어서 제한적일 수 밖에 없었습니다.

이 문제들을 해결할 수 있는 구체적이며 명확한 해결책이 바로 레퍼런스 아키텍처입니다. 

AI, HPC 전용 스토리지의 선택 기준 : NVIDIA GPUDirect Storage

AI, HPC 환경에서 최대 성능 병목 구간은 스토리지입니다. 모델 및 애플리케이션이 더 복잡해질수록, 이들이 사용하는 데이터 세트가 더 커질수록 병목 현상은 심해지는데, 이러한 병목 현상을 제거하는 것은 AI 워크로드 환경의 성능, 효율성과 직결되기 때문에 매우 중요합니다.

NVIDIA Magnum IO에 속하는 기술 제품군 중 하나인 NVIDIA GPUDirect Storage (GDS)는 CPU에 부담을 주지 않으면서 스토리지와 GPU 메모리 간에 Direct Memory Access (DMA) 전송을 위한 경로를 제공합니다. 따라서 GPU 서버 내의 CPU 활용률은 현저히 낮아지지만 스토리지 대역폭은 증가하고 지연 시간도 줄어듭니다. ​초기 NVIDIA GDS 파트너였던 VAST Data는 이제 LightSpeed v3.4+부터 GDS를 지원하고 있습니다. 이제 스토리지 프로토콜로 NFS-over-RDMA를 사용하는 애플리케이션은 NVIDIA DGX 시스템과 VAST Data의 올플래시 스토리지 간의 성능 향상으로 이점을 누릴 수 있습니다.

AI 특화 레퍼런스 아키텍처

VAST Data의 LightSpeed 플랫폼과 NVIDIA의 AI 시스템인 DGX A100을 기반으로 구축된 레퍼런스 아키텍처는 NFS-over-RDMA, NFS Multipath 및 NVIDIA GPUDirect Storage 기술을 활용해 통합 패브릭을 구성합니다. 이를 통해 GPU 집약적 및 스토리지 집약적 AI 워크로드 모두에 170GB/s 이상의 처리량을 제공합니다. VAST Data의 DASE 아키텍처는 대용량과 고성능 구성 모두에 대해서 선형적으로 확장되며 레퍼런스 아키텍처에서는 다음과 같이 4개의 DGX A100 POD에 대해 이상적인 스토리지 인프라 구성이 가능합니다.

DGX A100 시스템을 이용한 VAST Data 인증 아키텍처

고유한 VAST Data만의 분리된 아키텍처를 통해서 클라이언트 연결 네트워크와 백엔드 스토리지 패브릭 모두에서 이더넷과 인피니밴드를 모두 지원할 수 있습니다. 레퍼런스 아키텍처에서는 DGX A100 시스템의 인피니밴드 컴퓨팅 패브릭이 VAST Data 스토리지 시스템에 활용됩니다. 또한, NFS 클라이언트 프로토콜을 사용하여 처리량이 높고 지연 시간이 짧은 I/O 성능을 얻을 수 있습니다. 네트워크 구성은 아래와 같습니다.

        ​ㆍ각 DGX A100 시스템은 8개의 200Gb HDR 인피니밴드 포트를 통해 연결됩니다.

        ​ㆍ각 VAST Data 파일 서버는 이중화 방식으로 연결되며, 1개의 100Gb HDR 인피니밴드 포트

            (200Gb 스위치 포트에서2 방향 스플리터를 사용)를 통해 DGX A100 시스템의 스토리지 요청을 처리할 뿐만 

             아니라 2개의 100Gb 포트로 백엔드 스토리지 (이더넷) 패브릭에 연결됩니다.

        ​ㆍ각 VAST Data 플래시 인클로저는 2개의 100GbE 포트를 통해 백엔드 스토리지(이더넷) 패브릭에 연결됩니다.

        ​ㆍ고가용성(HA)을 위해 인피니밴드와 이더넷 스위치가 모두 쌍으로 구성됩니다.

테스트 결과

이 솔루션의 구성은 각 벤치마크를 측정하면서 DGX A100 시스템을 1개에서 4개로 확장하여 테스트되었습니다.

- NCCL (NVIDIA Collective Communication Library)을 통해 테스트

- DGX A100 시스템의 GPU 간 대역폭이 내부 NVLink 스위칭 기능의

   최대 처리량에 도달

- DGX A100 시스템이 확장될수록 여러 시스템에서 GPU 간 대역폭이

   DGX A100 1대당 컴퓨팅용으로 할당된 8개의 인피니밴드 네트워크

   어댑터의 총 대역폭에 근접

- FIO(Flexible IO tester)를 통해 테스트

- 4개의 DGX A100 시스템에서 110GB/s 이상의 스토리지 대역폭 확인

- DGX A100 안에 추가 200Gb NIC을 활용할 수 있도록 설계되었기

   때문에 동시에 최대 다중 시스템 간 GPU 대역폭 허용

- MLPerf Training을 통해 테스트

- 첫 번째 에포크는 파일 시스템에서 로컬 캐시로 데이터를 직접 읽기

   때문에 경과 시간이 가장 오래 걸리고 이후의 패스에 더 작은 영향을 끼침 

- 첫 번째 시기와 전체 평균 사이에 별로 차이가 없다는 사실은 VAST Data

   의 파일 시스템이 Local Cache 만큼 빠름을 확인

AI가 모든 산업 및 업종에 걸쳐 점점 널리 보급됨에 따라 기업은 IT 인프라를 제공하는 더 간단한 방법이 필요합니다. 기존 컴퓨팅 (CPU 기반) 인프라가 AI 워크로드에 적합하지 않은 것처럼 기존 스토리지 아키텍처는 더 이상 GPU 장착 시스템의 I/O 요구를 충족하기에 적합하지 않습니다. 레퍼런스 아키텍처는 복잡한 병렬 파일 시스템 없이도 고 처리량 스토리지 인프라를 설계하고 제공할 수 있는 입증된 방법과 증거를 보여줍니다. 크고 작은 AI 워크로드에 모두 이상적인 VAST Data와 NVIDIA의 시스템을 통해 IT 및 데이터 연구팀 모두 더 이상 인프라 아키텍처에 대해 걱정할 필요가 없으며 AI를 통해 새롭고 혁신적인 통찰력을 확보하는 데 집중할 수 있습니다. 

Contact Us

주소: 서울특별시 중구 퇴계로 286 쌍림빌딩 8/9층 (주)유클릭 AI 사업본부

전화: 02-6320-0121

© 2030 by uDNA & Uclick

  • 블랙 블로거 아이콘