NetApp ONTAP AI

NVIDIA DGX 시스템과 NetApp 클라우드 연결형 All-Flash 스토리지를 기반으로 하는 NetApp ONTAP AI를 사용하면 AI 및 딥 러닝(DL)의 이점을 완벽하게 실현할 수 있습니다.

또한 검증된 ONTAP AI 아키텍처로 데이터 파이프라인을 단순화, 가속화 및 통합할 수 있으며 데이터 흐름을 안정적으로 간소화하고 엣지에서 코어 및 클라우드에 이르는 Data Fabric을 사용하여 분석, 훈련, 추론의 속도를 높일 수 있습니다.

AI 데이터 관리에 대한 수많은 도전 과제들

​오늘날 수많은 기업들은 가지고 있는 데이터와 수집하는 데이터들을 잘 활용하고 그에 걸맞는 인프라를 구축하여 성공적으로 AI 비즈니스를 전개하고 싶어합니다. 하지만, AI 비즈니스에 있어서 고려해야 할 부분은 데이터와 인프라뿐만이 아닙니다. 개발자들은 데이터 워크스페이스 부분에서 사용할 대량의 데이터 셋과 소스 코드의 관리에 대한 어려움 없이 개발을 할 수 있어야하고 이 소스 코드들과 모델, 데이터에 대하여 전반적인 버전 관리와 추적이 필요합니다. 추가적으로, 회사 내 여러 개의 팀이, 여러 곳의 다른 지역에서 근무한다면 AI 컴퓨팅 또는 데이터 사일로를 유기적으로 통합하고 연계할 수 있어야 하며 다양한 이기종 데이터 소스들을 하나의 AI 데이터 파이프라인으로 통합할 수 있어야 합니다.

캡처.JPG
검증된 AI 레퍼런스 아키텍처 : NetApp ONTAP AI (with NVIDIA)

NetApp ONTAP AI는 세계 최초의 5페타플롭 AI 시스템인 NVIDIA DGX A100과 NVIDIA Mellanox 고성능 이더넷 스위치를 통합한 최초의 컨버지드 인프라 스택 중 하나로, AI 워크로드를 통합하고 구축을 간소화하고 투자 수익률 회수를 앞당길 수 있습니다. 또한, DGX A100 시스템과 NetApp 클라우드 연결 스토리지 시스템을 기반으로 하는 NetApp ONTAP AI 레퍼런스 아키텍처는 NetApp과 NVIDIA가 개발하고 검증했기 때문에 신뢰할 수 있으며, IT조직에게 아래와 같은 아키텍처를 제공합니다.

  • 설계 복잡성 제거

  • 컴퓨팅 및 스토리지의 독립적인 확장 가능

  • 고객이 소규모로 시작하여 원활하게 확장 가능

  • 다양한 성능 및 비용 측면에서 다양한 스토리지 옵션 제공

NetApp ONTAP AI는 DGX A100 시스템과 NetApp AFF A800 스토리지 시스템을 최첨단 네트워킹과 긴밀하게 통합합니다. 또한, 설계 복잡성과 추측을 제거하여 인공지능 구축을 간소화하기 때문에 고객은 소규모로 시작하여 중단 없이 확장할 수 있으며, 엣지부터 코어, 클라우드 및 뒷단에 이르는 데이터를 지능적으로 관리할 수 있습니다.

netapp_ontapai.PNG
각각 2개의 용량 옵션이 있는 3개의 구성
AI 데이터 관리 문제의 해결 방안! NetApp AI Control Plane

위와 같은 인공지능 데이터 관리 도전 과제들을 해결하고 다양한 데이터 소스들을 통합하기 위해 NetApp은 풀 스택 AI 데이터 서비스 및 워크로드 관리 솔루션인 NetApp AI Control Plane을 제공하고 있습니다. NetApp AI Control Plane은 하이브리드 멀티 클라우드 환경에서 AI 어플리케이션 데이터를 효율적으로 관리할 수 있는 데이터 관리 솔루션으로써, NetApp의 데이터 소프트웨어와 하드웨어를 쿠버네티스 클러스터, 쿠브플로우 머신러닝 툴킷과 연계하여 손쉽게 인공지능 어플리케이션을 개발하고 운영할 수 잇도록 도와주는 솔루션들의 묶음이라고 할 수 있겠습니다.

netapp_ai control plane_2.PNG
NetApp AI Control Plane 플랫폼
On-Demand 자동화를 기반으로 AIaaS(AI as a Service) 실현!
44342344.PNG

NetApp AI Control Plane은 아래와 같이 가장 효율적으로 AI 어플리케이션 개발과 운용을 실현할 수 있는 소프트웨어 프레임워크를 제공합니다.

1. NetApp Trident를 통한 온 디맨드 데이터 및 워크스페이스의 프로비저닝

2. AI 워크플로우의 자동화를 위한 Kubeflow 파이프라인과 완벽한 결합

3. REST API 및 Python을 이용한 코드 기반의 데이터 인프라 관리 방안

    - REST API 및 Python SDK, 버전 관리 및 백업 스냅샷, 복제, 클론 / 개발, 테스트, 백업, A/B 테스팅 등 모델 또는 데이터 셋의 원활한 버전

       전환

4. Kubeflow 파이프라인과 Jupyter Notebook과 같은 표준 AI 도구를 이용한 멀티 사이트 협업

    - NetApp SnapMirror w / KubeFlow, Jupyter

5. 서로 다른 다양한 이기종 데이터 소스의 통합

    - NetApp Cloud Sync w / KubeFlow, Jupyter

고객들은 NetApp AI Control Plane 프레임워크를 사용하여 위 기능을 지원받아 진정한 AIaaS (AI as a Service)를 구현할 수 있습니다.

NetApp AI Control Plane을 활용해서 AIaaS를 구축할 수 있는 방법들
1. DIY : 오픈소스 스택 활용

이식성, 확장성, 유연성 및 단순성을 지원하는 가장 유용하고 비용효율적인 방법입니다.

  • 쿠브플로우 : 쿠버네티스를 위한 인공지능/머신러닝 툴킷 ==> AI/ML 워크로드 배포를 위한 표준 오픈소스 플랫폼

  • 쿠버네티스 (k8s) : 컨테이너/자원 조율

  • NetApp 트라이던트 : 쿠버네티스를 위한 스토리지 프로비저닝 지원 ==> 산업 표준 오픈소스 플랫폼

  • 컴퓨팅 그리고/또는 클라우드 선택 : 쿠버네티스 친화적인 형식으로 나타나는 엔터프라이즈 수준 스토리지

  • NetApp 데이터 패브릭 : 데이터 이식성과 보호 ==> 엣지에서 코어로 클라우드 데이터 움직임

  • 앤서블 (Ansible) : 배포 자동화, 코드로 된 인프라스트럭처

2. NVIDIA DeepOps와 같은 Infrastructure 자동화 툴 활용
22223333.PNG

NetApp AI Control Plane과 함께라면 NVIDIA DeepOps와 같은 자동화 툴이 사용 가능해 집니다.

NVIDIA DeepOps는 ​오픈 소스로 제공되고 있으며, 이 툴 안에는 NetApp 트라이던트도 포함되어 있기 때문에 NetApp Control Plane이 제공하는 장점을 바로 활용하여 효율을 극대화할 수 있습니다.

3. 검증된 래퍼런스 아키텍처 솔루션 채택

제조사에서 사전 검증을 수행한 레퍼런스 아키텍처 기반의 솔루션을 채택하는 방법이 있습니다.

1. NVIDIA DGX + NetApp 올 플래시 : Converged 시스템 , NetApp AI Control Plane까지 완벽하게 통합이 되어있음.

2. Cisco UCS + NetApp 올 플래시 : AI 가속화를 위한 CISCO UC 서버와 NetApp 올 플래시를 결합.

3. NVIDIA SuperPOD + NetApp : 대용량 데이터센터를 위한 구성

netapp ra solution.PNG