MLOps 도입을 위한 의사결정 기준

이번 포스팅에서는 MLOps 도입할 때 중요 의사결정 포인트를 어떻게 잡아야 할지 알아보겠습니다. 참고로 이 내용은 NVIDIA가 북미에서 정식 서비스를 출시한 Base Command 플랫폼에 적용한 MLOps 도구를 제공하는 기업인 Weights & Biases의 백서 내용 중 일부를 정리한 것입니다. 전체 내용은 ‘Building a tech stack for ML expertise’ 백서를 참조 바랍니다.



이 백서는 한 파트를 MLOps 의사결정 프레임워크에 할애하고 있습니다. 표현이 좀 기술적이긴 한데, MLOps 도입을 위한 중요 검토 사항 정도로 풀어 쓸 수 있을 듯싶네요. Weights & Biases는 6가지 고려 사항을 꼽았습니다. 백서는 좀 미국스럽게 내용을 전개해서요, 한국 독자의 눈높이에 맞게 6가지 도입 기준을 재해석해 보았습니다.


  • 벤더 종속

  • 인재 확보

  • TCO

  • 소프트웨어 가시성

  • 가시성

  • 거버넌스, 프라이버시

하나하나 알아보겠습니다. 벤더 종속은 누구나 피하고 싶은 것입니다. 그런데도 가끔 편의성 뒤에 숨은 종속성을 알면서도 피하지 않는 경우도 적지 않습니다. 대표적인 예가 클라우드 사업자들이 제공하는 쓰기 편한 도구입니다. 구글 클라우드의 AutoML이나 AWS의 SageMaker 같은 하이레벨 도구는 구미가 당기죠. 이런 도구조차 특정 인프라 종속 이슈에서 벗어나지 못합니다. 100% 클라우드만 활용해 AI 프로젝트를 추진하겠다면? 문제 될 것 없겠지만, 조직 내부에 있는 GPU 기반 클러스터까지 하나의 자원으로 묶어 MLOps 체계가 굴러가게 하고 싶다면? 벤더 종속 없는 도구 선택은 필수라 할 수 있습니다.


인재 확보는 뭐 예전부터 이야기되어 온 것이죠. AI 분야 인재 부족은 각 나라 정부가 관심을 두고 육성에 나설 정도로 심각합니다. 좁디좁은 AI 인력 풀에서 그나마 필요한 때 인력을 충원하려면? 네, 오픈 소스같이 널리 쓰이는 보편적인 기술이나 학습 곡선이 필요 없을 정도로 쉽고 편리한 도구를 선택하는 것이 사람 구하기 더 쉽습니다.

다음으로 TCO를 살펴보죠. AI 프로젝트 추진 시 TCO를 따져 보십시오. MLOps 도구 및 플랫폼의 비중은 그리 크지 않습니다. 주로 하드웨어와 인건비로 TCO 그래프를 가득 채웁니다. 이처럼 작은 투자지만 제대로 된 MLOps 도구 및 플랫폼을 선택하면 GPU라는 고가의 자원 효율을 높일 수 있고, 투입 인력의 생산성을 개선할 수 있습니다. 네, 전체 TCO를 낮추는 데 큰 역할을 하는 것이죠. ROI 측면에서 MLOps 도구 및 플랫폼만큼 확실한 효과를 제공하는 것도 없을 것입니다.

소프트웨어 가시성은 유지보수 측면에서 바라본 개념입니다. 가령 MLOps 툴체인을 유명 오픈 소스 프로젝트로 가득 채운다고 해보죠. 이게 그럴듯해 보이지만 가시성 측면에서 어느 순간 최악이 될 수도 있습니다. 각 도구에 대한 전문성을 유지하면서 전체 연계를 매끄럽게 이어가기 위한 유지보수 작업은 특정 인력에 의지할 수밖에 없습니다. 이를 맡던 인력이 나가면? 난감한 상황이 펼쳐지겠죠. 따라서 벤더 종속을 피하는 선에서 전체 MLOps를 책임져 줄 수 있는 업체를 선택하는 지혜가 필요합니다.

가시성은 모델 개발과 훈련에 대한 것입니다. 작업의 흐름과 결과에 대한 가시성이라 보면 되는데요. Weights & Biases는 개발자의 경험 측면에서 베스트 프랙티스를 MLOps 도구나 플랫폼이 충실히 제공하는 것이 중요하다고 말합니다.


거버넌스와 프라이버시는 데이터에 관한 이야기입니다. 네, 모델 훈련과 추론에 쓰이는 데이터 세트 역시 보안 및 규정 준수에서 자유로울 수 없습니다. 이에 따라 거버넌스와 프라이버시를 고려해 데이터 파이프라인을 설계해야 하는데요, Weights & Biases는 여기서 한발 더 나아가 모델 거버넌스의 중요성도 강조하네요.


이상으로 MLOps 도입 기준 6가지를 알아보았습니다. 상식적인 내용이지만 한데 모아 정리해 보니 나름 유용해 보이네요.

#MLOps #Base_Command #Weights_Biases


조회 25회