AI 이니셔티브를 발표하는 기업들이 늘고 있습니다. 이는 사업의 핵심 영역에 AI를 두겠다는 포석을 놓는 기업이 많아짐을 뜻합니다. 이처럼 AI 전략을 앞세운 기업들은 초반에 시행착오를 겪게 마련입니다. 오랜 기간 노하우를 쌓아온 비즈니스 컴퓨팅 환경과는 결이 달라도 많이 다르기 때문입니다. AI, ML 프로젝트를 시작할 때 흔히 마주하는 도전 과제는 하드웨어부터 소프트웨어까지 광범위한 영역에 걸쳐 생깁니다. AI 워크로드를 배포해 운영하는 것이 궁극의 목표인데, 이를 원활히 하기 위한 기반 마련부터 쉽지 않은 도전 과제들을 넘어야 하는 것이 현실입니다. 그렇다면 기업은 이런 도전 과제 해결의 방향을 어떻게 잡아야 할까요? 복잡한 문제일수록 단순하게 바라봐야 합니다. 인프라와 플랫폼 구축은 복잡한 작업입니다. 이를 간소화할 방안을 찾아야 합니다. 관련해 여러 기업이 AI 인프라와 플랫폼 간소화 방안을 제시합니다.
AI 인프라와 플랫폼 구축과 운영 간소화 방안은 크게 두 가지 측면에서 접근할 수 있습니다. 하나는 서버이고 다른 하나는 데이터입니다. 이 두 측면을 잘 고려하면 다양한 AI 프로젝트 추진 요구에 유연하고 민첩하게 대응할 수 있는 인프라와 플랫폼을 운영할 수 있습니다. 서버 측면에서 간소화를 하는 방법은 너무 잘 알려져 있습니다. 네, NVIDIA의 레퍼런스 아키텍처를 기준점으로 잡는 것입니다. 이 방법은 사실상의 표준처럼 널리 받아들여지고 있습니다. 반면에 데이터 측면에서 간소화 방안을 찾는 것은 어느 기업의 제안을 고르느냐에 따라 차이가 좀 있습니다. 이런 경우 최선의 선택을 하는 방법은 우리 조직의 요구 사항에 가장 가까운 것을 찾는 것입니다.
관련해 이번 포스팅에서는 온프레미스부터 시작해 하이브리드, 멀티 클라우드 그리고 엣지 컴퓨팅까지 수용할 수 있는 데이터 측면의 인프라와 플랫폼 간소화 방안을 NetApp AI 컨트롤 플레인을 예로 들어 알아보겠습니다.
NetApp AI 컨트롤 플레인 둘러보기
AI 프로젝트를 더 효율적이고 신속하게 추진하는 데 있어 인프라와 플랫폼은 눈에 보이지 않을수록 좋습니다. 이게 무슨 말인가 하면 최종 사용자인 데이터 과학자, 개발자, 현업 사용자가 그 존재를 의식하지 않고 원하는 작업을 할 수 있어야 한다는 것입니다. 사용자는 평소 쓰는 Jupyter 노트북 같은 작업 환경에서 원하는 자원을 확보하고, 데이터 파이프라인을 구축하고, 이를 이용해 개발이나 훈련 같이 원하는 작업을 할 수 있어야 합니다. 인프라 관리자나 데이터 엔지니어에게 일일이 지원 요청을 하느라 시간을 허비하지 않고 자신의 작업 환경에서 원하는 일을 하는 것이 모두가 바라는 바입니다.
NetApp AI 컨트롤 플레인은 이런 바람을 실현하는 기술이자 도구입니다. NetApp AI 컨트롤 플레인은 Kubeflow, kubeernetes, TRIDENT로 구성됩니다. 이를 이용하면 데이터 과학자와 개발자는 필요 데이터 볼륨을 포함한 컨테이너 환경을 손쉽게 생성해 프로젝트를 진행할 수 있습니다. 이중 TRIDENT가 무엇인지 궁금할 텐데요, 이는 NetApp이 제공하는 도구로 이를 이용하면 영구 스토리지 자원을 쿠버네티스 환경에서 간편하게 프로비져닝 할 수 있습니다. 또한, 쿠버네티스 API를 이용해 데이터 과학자나 개발자가 직접 데이터 볼륨 클록 생성, 스냅샷 카피 생성 같은 데이터 관리 작업을 할 수 있습니다. 훈련을 마친 AI/ML 모델이 담긴 데이터 볼륨을 스토리지 담당자 도움 없이 데이터 과학자나 개발자가 직접 복제해 A/B 테스트 같은 작업을 할 수 있는 것이죠.
NetApp AI 컨트롤 플레인의 활용 가치는 데이터 패브릭 환경이 복잡할수록 높아집니다. 온프레미스 환경부터 클라우드와 엣지 컴퓨팅에 이르는 하이브리드, 멀티 환경에 데이터 패브릭이 걸쳐 있을 때 이를 단일 자원으로 묶어 활용할 수 있는 강력한 통합을 이뤄냅니다. 여기에 더해 위치에 구애받지 않고 유연하게 확장이 가능하며, 어떤 곳에 있는 데이터 볼륨이건 필요한 곳으로 매끄럽게 이동할 수 있습니다. 경계를 넘어선 확장성, 이동성의 이점을 제공하는 것이죠. 가령 훈련을 마친 모델을 엣지에 배포할 경우 엣지에서 데이터 수집과 처리가 이루어집니다. NetApp AI 컨트롤 플레인은 엣지 환경을 위한 데이터 서비스를 생성하고, 필요시 빠른 데이터 이동을 보장합니다. 데이터센터의 경우 모델의 훈련과 최적화가 이루어지는 것을 고려해 최적의 I/O 성능을 보장하기 위한 데이터 흐름을 제공합니다. 클라우드 환경은 콜드 스토리지 운영이나 백업 및 장기 보관 목적으로 AI 프로젝트에 사용하는 데이터를 보관하는 데 활용합니다. 이런 시나리오는 클라우드 서비스 제공자도 많이 이야기합니다. NetApp AI 컨트롤 플레인은 클라우드 사업자와 확실한 차별점을 제공하는데요, 바로 엔터프라이즈 수준의 데이터 관리 기능입니다. 데이터 볼륨이 어디 있건, 어디서 어디로 복제를 하건 신뢰할 수 있습니다.
이상으로 NetApp AI 컨트롤 플레인을 적용할 때 얻을 수 있는 데이터 인프라와 플랫폼 측면에서의 간소화 이점을 살펴보았습니다.