​스토리지 기술 혁신 4가지

 - 3D XPoint, NVMe over Fabric,

    Stateless Container, QLC Flash

VAST Data가 제시하고 있는 유니버셜 스토리지(Universal Storage) 개념은 수십 년간 이어져온 스토리지 선택 방식에 변화를 몰고 올 차세대 파일 및 오브젝트 스토리지의 모습을 보여줍니다. 그동안 스토리지 선택은 뭔가 하나를 얻기 위해 다른 하나를 희생해야 하는 식으로 이루어졌습니다. 성능, 구축과 운영 편의성, 비용 등 여러 기준을 두루 만족하는 기술과 솔루션은 없었습니다. 이를 트레이드오프(trade-off)라고 표현합니다. VAST Data의 유니버셜 스토리지 컨셉은 더 이상 성능 때문에 경제성을 포기해야 하는 식의 선택을 하지 않아도 되는 시대를 예고하고 있습니다. 간단히 말해 파일, 블록 스토리지의 간결함과 경제성을 성능 포기 없이 누릴 수 있는 시대를 선언한 것이 바로 유니버셜 스토리지입니다.

1. 3D XPoint
VAST-foundation-xp.png

3D XPoint는 외부 전원 없이 데이터를 유실하지 않는 플래시 고유의 저장 기능을 유지하는 가운데 SSD에 사용되는 NAND 플래시 보다 지연 시간(latency)이 짧고, 내구성이 좋습니다. 메모리와 플래시의 장점을 모두 갖추고 있는 영구 메모리 기술이라 보면 됩니다. VAST Data의 유니버셜 스토리지 시스템은 3D XPoint를 고성능 쓰기 버퍼와 글로벌 메타 데이터 저장 용도로 사용합니다. 3D XPoint를 사용하면 비용이 낮은 QLC 플래시를 시스템 데이터 저장에 사용해도 높은 성능 요구에 대응할 수 있습니다. 성능과 비용 모두 만족하는 조합이 바로 3D XPoint와 QLC 플래시입니다. VAST Data의 유니버셜 스토리지 클러스터는 수십에서 수백 테라바이트까지 3D XPoint 용량을 구성할 수 있습니다.​

  • 쓰기 지연 시간 최소화: VAST 서버는 초저지연 NVMe 3D XPoint SSD 버퍼에 데이터를 미러링 한 후 클라이언트에 쓰기에 대한 응답(ack)을 보냅니다. 3D XPoint를 쓰기 버퍼로 사용하므로 애플리케이션 측면에서 바라보면 QLC SSD에 직접 쓰기를 할 때 생기는 지연이 없고, 글로벌 플래시 변환(Global Flash Translation) 및 데이터 절감(reduction) 같은 데이터 서비스 수행으로 인한 지연도 없습니다.

  • 일시적인 쓰기로부터 플래시 보호: 데이터는 3D XPoint 쓰기 버퍼 상에 영구적으로 위치할 수 있습니다. 또한, 버퍼 크기가 커서 잦은 쓰기 작업으로부터 QLC SSD 마모(wear) 완화에도 큰 역할을 합니다. ​​

  • 효율적인 데이터 보호: 3D XPoint 쓰기 버퍼는 동시에 많은 작업을 처리하고, 완벽하게 QLC에 쓰기 작업을 할 수 있는 충분한 용량을 제공합니다. 이에 따라 전통적인 엔터프라이즈 스토리지 쓰기 패턴을 적용했을 때 QLC 플래시 수명이 20배 이상 깁니다. ​

  • 공격적인 데이터 절감 기능으로부터 내구성이 약한 플래시 보호: 효율적인 데이터 보호: VAST 클러스터는 데이터 절감을 위한 계산을 애플리케이션이 요청한 쓰기에 대한 응답을 보낸 후 수행합니다. 계산은 QLC 플래시에 데이터가 마이그레이션 되기 전에 일어납니다. 따라서 데이터 절감을 위한 전처리 작업에 따른 쓰기 작업 부하가 없습니다. 이는 3D XPoint가 있기에 가능한 것입니다. ​

  • 효율적인 데이터 절감 딕셔너리 관리: 3D XPoint는 글로벌 압축 딕셔너리나 여러 유형의 메타 데이터를 위한 공유 풀 역할도 합니다. 이렇게 활용하면 전통적인 스토리지 보다 더 풍부한 데이터 절감 메타 데이터를 저장할 수 있습니다. 또한, 모든 VAST 서버 메모리에 데이터 절감 인덱스를 복제하지 않아도 됩니다.

2. NVMe over Fabric

NVMe(Non-Volatile Memory Express)는 PCIe SSD에 접근하기 위해 사용하는 SCSI 명령 세트를 대체한 소프트웨어 인터페이스입니다. 명령 큐 오버헤드가 낮고, 병렬 구성에 더 유리한 특징으로 NVMe SSD는 SAS나 SATA 보다 훨씬 더 속도가 빠릅니다.

NVMe over Fabrics (NVMe-oF)는 NVMe API로 상용 이더넷 및 인피니밴드 네트워크로 연결한 스토리지에 로컬 PCI 수준의 액세스 성능을 제공합니다. VAST의 DASE 아키텍처는 CPU를 분리합니다. 그리고 이들 자원이 3D XPoint 및 QLC 플래시 SSD 풀에 글로벌하게 액세스할 수 있는 구조를 띕니다. 이에 따라 스토리지를 컨트롤러 독립적으로 확장할 수 있어 더 효율적으로 예산을 집행할 수 있습니다. NVMe-oF로 연결된 VAST 컨테이너는 3D XPoint 및 QLC 플래시 SSD 풀에 DAS(Direct Attached Storage) 수준의 성능으로 액세스할 수 있습니다. 이는 DASE 아키텍처가 갖는 스테이트리스(stateless)와 모든 액세스를 공유(Shared everyting access) 하는 특징이 갖는 이점입니다.

VAST-foundation-nvmeof.png
3. Stateless Container
VAST-foundation-containers.png

3D XPoint는 외부 전원 없이 데이터를 유실하지 않는 플래시 고유의 저장 기능을 유지하는 가운데 SSD에 사용되는 NAND 플래시 보다 지연 시간(latency)이 짧고, 내구성이 좋습니다. 메모리와 플래시의 장점을 모두 갖추고 있는 영구 메모리 기술이라 보면 됩니다. VAST Data의 유니버셜 스토리지 시스템은 3D XPoint를 고성능 쓰기 버퍼와 글로벌 메타 데이터 저장 용도로 사용합니다. 3D XPoint를 사용하면 비용이 낮은 QLC 플래시를 시스템 데이터 저장에 사용해도 높은 성능 요구에 대응할 수 있습니다. 성능과 비용 모두 만족하는 조합이 바로 3D XPoint와 QLC 플래시입니다. VAST Data의 유니버셜 스토리지 클러스터는 수십에서 수백 테라바이트까지 3D XPoint 용량을 구성할 수 있습니다.​

4. QLC Flash

QLC(Quad-Level Cell Flash)는 최신 세대 기술로 메모리 집적도가 높고, 제조 비용이 저렴합니다. QLC는 TLC(Triple-Level Cell)과 비교할 때 같은 공간에 33% 더 많은 데이터를 저장할 수 있습니다. 참고로 QLC 플래시 칩의 각 셀은 4비트를 저장하며 16개의 다른 전압 레벨이 필요합니다.

QLC는 GB 당 플래시 비용을 전례 없이 낮은 수준으로 낮추었습니다. 플래시 칩 기술의 진화 방식은 단일 셀에 더 많은 비트를 저장하는 식으로 비용을 줄이는 쪽으로 향하고 있습니다. 이런 이유로 내구성이 새로운 세대가 나올수록 낮아지고 있습니다. SLC와 비교할 때 QLC 내구성은 100배 낮습니다. 집적도가 높을수록 내구성이 낮은 이유는 데이터를 지울 때 물리적 수준에서 플래시 셀의 절연막에 손상을 가하는 고전압이 쓰이기 때문입니다. 여러 번 쓰기와 지우기 사이클을 거치는 과정에서 손상이 누적됩니다. 현재 나오는 이야기는 집적도를 더욱 높인 셀 당 5비트를 저장하는 PLC 메모리입니다. 아직 설계 단계이긴 하지만 새로운 PLC는 QLC보다 25% 더 많은 데이터를 저장할 수 있습니다. 참고로 VAST 아키텍처는 PLC도 수용할 수 있도록 설계되었습니다.

VAST-foundation-qlc.png