모델 부채(Model debt)라는 말을 들어 보셨나요? 이 말에는 기업이 AI 프로젝트를 진행할 때 보이지 않는 빚이 쌓인다는 의미가 담겨 있습니다. 여기서 말하는 빚은 갚아야 할 돈이 아니라 손해의 뜻으로 봐야 합니다. 기업은 수많은 AI 프로젝트를 추진합니다. 이 과정에서 많은 모델이 개발됩니다. 이들 중 프로덕션까지 가지 못하고 중간에 사라지는 모델의 수를 따져 보셨나요? 네, 조직 측면에서 바라보면 시간과 노력을 투자한 모델 개발이 '빛'을 보지 못하고 사라질 때 '빚'으로 남게 됩니다. 모델 부채는 근본 원인을 해결하지 않으면 알면서도 계속 쌓아 나갈 수밖에 없습니다.
모델 부채 해결의 유일한 답이 MLOps인 이유
그렇다면 원인은 무엇일까요? 모델을 생명 주기 측면에서 제대로 관리하지 못해 생기는 일입니다. 아직 많은 조직이 데이터 과학자가 IT 부서에 의존해야 하는 관계 속에서 프로젝트를 추진합니다. 이런 경우 데이터 과학자는 모델을 생명 주기 측면에서 관리할 수가 없습니다. 그저 모델만 바라봐야 합니다. 반면에 MLOps 체계를 구축한 조직은 데이터 과학자가 모델 개발부터 운영까지 IT 부서에 도움을 요청하지 않고 할 수 있는 일들이 꽤 많습니다. 네, 생명 주기 측면에서 개발부터 운영까지 바라볼 수 있습니다. 이를 도식화하면 다음과 같습니다.
MLOps 체계 아래에서는 데이터 과학자가 모델 개발, 트레이닝, 재트레이닝 등의 작업을 위해 IT 부서에 일일이 자원 요청을 할 이유가 없습니다. 필요한 자원을 스스로 배포하고, 필요할 때 확장할 수 있습니다. 그리고 생명 주기 차원에서 모델을 관리할 때 꼭 해야 하는 트래킹, 버전 관리, 데이터 처리 등도 스스로 할 수 있습니다. 데이터 과학자에게 운신의 폭을 넓혀주면 무슨 일이 생길까요? 네, 프로덕션까지 살아남는 성공적인 모델이 많아지고, 자연스럽게 모델 부채 문제가 해결됩니다.
MLOps는 그 효과가 크지만 막상 시작하려면 어디서부터 해야 할지 막막한 주제 중 하나입니다. 인프라 자원 최적화, AI 파이프라인, 데이터 파이프라인, 보안 등 따져야 할 것이 많습니다. 일반적인 DevOps 방법론과 도구는 MLOps에 적합하지 않습니다. 다행히 cnvrg.io 플랫폼같이 도입 즉시 MLOsp 실행이 가능한 솔루션이 시장에 존재합니다.
cnvrg.io 플랫폼을 이용하면 다양한 원천 데이터를 연결하고, 코드 버전 관리를 하고, 메타 데이터 관리를 하고, 트레이닝을 위한 데이터 세트를 관리하고, 머신 러닝 파이프라인을 생성하고, 유연하게 자원을 할당해 모델을 배포하고, 재트레이닝을 이어가며 모델을 추적하고, 경량화와 최적화를 마친 모델을 프로덕션 환경에 배포해 모니터링하고 관리하는 것까지 일관성 있게 실행할 수 있습니다.
이상으로 MLOps가 왜 모델 부채 문제 해결의 열쇠인지 그리고 MLOps 구현과 지속의 어려움을 cnvrg.io 플랫폼이 어떻게 해결할 수 있는지 간단히 알아보았습니다. 참고로 본 포스팅은 퓨어스토리지 솔루션 아키텍트인 에밀리가 자신의 기고문에서 제시한 모델 부채에서 영감을 얻어 작성했습니다.