VAST Data 

AI, HPC, 첨단 분석 워크로드는 데이터 처리 요구 수준이 매우 높습니다. 전통적인 엔터프라이즈 스토리지는 이 기준을 맞추지 못합니다. VAST Data의 유니버셜 스토리지는 AI, HPC, 첨단 분석 등의 현대화된 워크로드를 처리하는 데 필요한 성능, 확장성, 경제성을 두루 제공합니다. 

AI, HPC 전용 스토리지가 필요한 이유 

AI 환경의 데이터 액세스는 본질적으로 작은 크기의 파일을 랜덤으로 요청합니다. 일반적으로 HPC 시스템을 위한 병렬 파일 시스템과 버스트 버퍼를 지원하는 스토리지 시스템들은 AI 애플리케이션 서버 환경에서 주로 사용되는 랜덤 읽기 위주의 액세스를 위해서 설계된 것이 아닙니다. 또한, AI 서버마다 agent를 설치해야만 하는 등의 구성이 복잡하다는 단점 외에도 AI 환경에서 낮은 성능을 제공할 수 있습니다. 

스토리지 계층화는 지금도 물론 유효합니다. 다만 AI라는 모든 기업이 최우선 투자 대상에 놓고 있는 서비스와는 맞지 않는 부분이 있습니다. AI 애플리케이션의 데이터 접근 방식과 계층화는 잘 맞지 않습니다. 머신 러닝, 딥러닝과 같이 방대한 양의 데이터에 수시로 접근하는 가운데 모델 경량화, 최적화를 이룹니다.

​티어링 방식은 데이터베이스나 중요한 비즈니스 애플리케이션에 플래시를 배치하는 등 나름 유연성이 있습니다. 이런 장점은 모든 데이터에 빨리 접근해야 하는 AI 애플리케이션 앞에서 단점이 됩니다. AI가 필요로 하는 데이터는 플래시 계층에 있을 수도 있고, 아카이브 장치에 있을 수도 있습니다. AI 애플리케이션의 요구 사항은 데이터가 어떤 계층에 있건 언제나 빨리 접근할 수 있어야 한다는 것입니다. 이런 현실적 문제를 해결한 것이 바로 VAST Data의 유니버셜 스토리지에 적용된 DASE 아키텍처입니다.

AI 시대를 위해 태어난 DASE 아키텍처 

스토리지 계층화 방식은 데이터베이스나 중요한 비즈니스 애플리케이션에 플래시를 배치하는 등 나름 유연성이 있습니다. 이런 장점은 모든 데이터에 빨리 접근해야 하는 AI 애플리케이션 앞에서 단점이 됩니다. AI 애플리케이션의 요구 사항은 데이터가 어떤 계층에 있건 언제나 빨리 접근할 수 있어야 합니다. 또한, 데이터 I/O 패턴이 전통적인 엔터프라이즈 애플리케이션과 다릅니다. VAST Data의 스토리지 아키텍처인 DASE(Disaggregated Shared Everything)는 모든 것을 공유하는 것이 특징입니다. 지난 10년 간 쓰인 'Shared Nothing' 방식은 AI, HPC, 첨단 분석 등의 현대화된 워크로드를 처리하는 데 아래와 같은 한계가 있습니다. 

  • CPU와 저장 매체를 하나의 장비에 모두 담아야 함 

  • 확장에 큰 비용이 듬 

  • 스토리지 시스템은 효율성 개선에 제약이 큼

VAST Data의 유니버셜 스토리지는 더 이상 성능과 경제성(비용) 중에서 한가지를 선택해서 나머지를 포기해야 하는 절충을 하지 않아도 되는 시대를 예고합니다. 

  • 성능 요구 조건이 까다로운 레거시 및 최신 애플리케이션 요구 사항을 충족할 수 있을 정도로 빠른 속도 

  • 엑사바이트 규모로 확장이 가능하고, 동시에 여러 애플리케이션의 데이터 I/O 요구 사항을 충족

  • NVMe-oF, Optane SSD 및 All-Flash(QLC)를 채택하여 스토리지 계층화 혹은 아카이빙을 통한 비용 절감 이상의 효과 제공 

  • 모든 애플리케이션에 대한 데이터 액세스를 보장, 업계 표준 파일 및 오브젝트 프로토콜 지원 

VAST 유니버셜 스토리지는 NVMe 패브릭을 중심으로 두 개의 빌딩 블록으로 나뉩니다. 하나는 도커 컨테이너 기반의 스토리지 서버이고, 다른 하나는 플래시 스토리지 인클로저입니다. 이 두 요소는 상호 독립적이어서 성능과 용량을 각각 개별적으로 확장할 수 있습니다. VAST 서버와 VAST 인클로저를 각각 늘릴 수 있다는 것입니다. 기존 스토리지의 경우 CPU와 저장 장치가 하나의 시스템에 묶여 있어 성능과 용량을 따로 확장할 수 없었던 것과 비교해 볼 때 유연성과 경제성이 매우 높은 방식이라 할 수 있습니다. 또한, NVMe-oF로 연결이 되어 PCI로 연결된 내장 스토리지에 접근하는 것처럼 지연 없이 빠른 속도로 데이터 저장소에 접근할 수 있으며 이 모든 것은 DASE 아키텍처이기 때문에 가능합니다. DASE의 특징을 잘 보여주는 문구는 'Shared Everything'입니다. 클러스터 내 모든 스토리지 인클로저에 저장된 데이터와 메타 데이터는 VAST 서버에서 글로벌하게 접근할 수 있습니다. 또한, 글로벌 네임스페이스를 기반으로 하므로 데이터 절감과 데이터 보호 등의 기능 수행도 일관성 있게 할 수 있습니다.

VAST Data의 유니버셜 스토리지는 NVMe 패브릭을 중심으로 두 개의 빌딩 블록으로 나뉩니다. 하나는 도커 컨테이너 기반의 스토리지 서버이고, 다른 하나는 플래시 스토리지 인클로저입니다. 이 두 요소는 상호 독립적이어서 성능과 용량을 각각 개별적으로 확장할 수 있습니다. VAST 서버와 VAST 인클로저를 각각 늘릴 수 있다는 것입니다. 기존 스토리지의 경우 컨트롤러와 스토리지가 하나의 시스템에 묶여 있어 성능과 용량을 따로 확장할 수 없었던 것과 비교해 볼 때 유연성과 경제성이 매우 높은 방식이라 할 수 있습니다. 또한, NVMe-oF로 연결이 되어 PCIe로 연결된 내장 스토리지에 접근하는 것처럼 지연 없이 빠른 속도로 데이터 저장소에 접근할 수 있습니다. 바로 이 아키텍처를 DASE라고 부릅니다. DASE의 특징을 잘 보여주는 문구는 'Shared Everything'입니다. 클러스터 내 모든 스토리지 인클로저에 저장된 데이터와 메타 데이터는 VAST 서버에서 글로벌하게 접근할 수 있습니다. 또한, 글로벌 네임스페이스를 기반으로 하므로 데이터 절감과 데이터 보호 등의 기능 수행도 일관성 있게 할 수 있습니다. 

VAST Data가 제시한 유니버셜 스토리지 컨셉은 전통적인 엔터프라이즈 스토리지 환경과 달리 컨트롤러와 스토리지의 연결과 운영 방식이 어떤 상태도 저장하지 않는 형태로 이루어집니다. 컨트롤러와 스토리지 간 데이터 요청과 응답이 독립적으로 이루어지는 방식입니다. 가령 클라이언트나 서비스에서 데이터 읽기 요청을 보내면, 이를 VAST 서버가 수신한 후 해당 파일이나 객체에 해당하는 데이터를 찾기 위해 패브릭 전체의 3D XPoint에 저장된 영구 메타 데이터에 접근합니다. 이후 해당 데이터를 QLC 플래시에서 읽습니다. 어떤 상태도 저장하지 않는 구조이다 보니 데이터 I/O 처리를 위해 VAST 서버 간 번거롭게 통신하지 않습니다. 따라서 스토리지 컨트롤러 간에 메타 데이터 일관성 유지도 따로 할 필요가 없습니다. 또한, 휘발성 메모리가 아니라 비휘발성 메모리와 SSD의 특성을 갖춘 3D XPoint에 메타 데이터를 저장하여 정전에 대비하기 위해 무정전 전원 공급 장치 등의 부가 장비를 갖추지 않아도 됩니다. 또한, 독립적인 요소로 동작하므로 특정 서버 장애가 전체 서비스에 영향을 끼치지 않습니다

New Arrival - LightSpeed NVMe 인클로저 

LightSpeed NVMe 인클로저는 NAS의 간결함을 유지하면서 AI 애플리케이션이 요구하는 빠른 처리량과 데이터 I/O 특성을 반영한 AI에 대한 VAST Data의 철학, 비전, 기술의 결정체인 DASE 아키텍처가 녹아든 차세대 AI 스토리지입니다. LightSpeed 인클로저는 DASE 아키텍처에 최적화된 스토리지입니다. NAS의 간편함과 단순함의 장점을 유지하면서 NFS/TCP 조합이 갖는 성능 제약을 뛰어넘어 버렸습니다. NVIDIA DGX A100, VAST 서버, LightSpeed 인클로저를 이용한 벤치마크 테스트를 수행한 결과 174GB/s라는 놀라운 데이터 처리량을 보여 주었습니다. 이 수치는 레거시 NFS와 비교 불가입니다. 특히 주목할 것은 RDMA, 멀티 패스 적용 시와 NVIDIA GPUDirect 적용 시 성능 차입니다. 참고로 VAST Data는 NVIDIA와 GPUDirect 관련해 긴밀히 기술 협력을 하고 있습니다. 

Contact Us

주소: 서울특별시 중구 퇴계로 286 쌍림빌딩 8/9층 (주)유클릭 AI 사업본부

전화: 02-6320-0121

© 2030 by uDNA & Uclick

  • 블랙 블로거 아이콘
  • 블랙 유튜브 아이콘