데이터 과학자와 AI 개발자의 일상을 보면 상대적으로 덜 중요한 데이터 준비 작업에 많은 시간을 씁니다. 이는 뭐 대부분 공감하는 부분일 것입니다. 관련해 데이터 파이프라인을 어떻게 구성해서 AI 관련 작업에 연결할 것인지 고민하는 곳이 많습니다. 각자 고민의 시작은 다르지만 해결책에 이르면 같은 답을 바라보게 됩니다. 바로 MLOps 플랫폼입니다.
MLOps는 데이터 과학자와 AI 개발자가 인프라와 데이터 관련 업무가 아니라 개발이라는 본연의 업무에 집중할 수 있는 기회를 제공합니다. MLOps는 범위를 어떻게 보느냐에 따라 그 환경이 달라집니다. 가장 이상적인 범위는 자동화 기반의 컨테이너 관리 플랫폼 상에 MLOps 플랫폼을 연계 구성하는 것입니다. 이렇게 하면 데이터 과학자와 AI 개발자는 물리적 서버와 자원의 위치를 신경 쓰지 않고 자신이 원하는 모델 개발, 트레이닝, 인퍼런싱 환경을 컨테이너 이미지에 담아 편리하게 배포할 수 있습니다. 더불어 데이터 파이프라인 연계와 모델 배포와 추적 등의 작업도 잘 짜인 툴 체인 상에서 착착 돌아갑니다. 이를 도식화하면 다음 그림과 같습니다.
많은 조직이 기술 내재화에 어려움을 겪는 것이 쿠버네티스입니다. 이 고민을 해결하기 위해 레드햇이 내놓은 답이 있습니다. 이전 포스팅에서 간단히 소개했던 레드햇 OpenShift입니다. 이를 이용하면 인프라에 이어 컨테이너 관리까지 데이터 과학자와 AI 개발자가 신경 쓸 것 없는 환경이 마련됩니다. 여기에 cnvrg.io를 더하면 MLOps 체계가 완성됩니다. 이렇게 조합을 짜면 모델 개발부터 프로덕션 환경 배포까지 모든 작업을 자동화 기반으로 일관성 있게 처리할 수 있습니다.
레드햇 OpenShift를 적용하면 사내 클러스터, 하이브리드 클라우드, 멀티 클라우드 환경에서 운영하고 있는 클러스터를 하나의 자원처럼 이용할 수 있습니다. 인프라 운영자는 쿠버네티스 클러스터를 위치에 관계없이 하나의 관점에서 바라보고 운영, 관리, 모니터링할 수 있습니다. 일반 엔터프라이즈 애플리케이션 개발, 배포, 운영 지원을 레드햇 OpenShift가 제공하는 DevOps 기능을 이용해 지원하면 됩니다. 데이터 과학자가 MLOps 환경을 필요로 하면 레드햇 OperatorHub를 통해 cnvrg.io를 설치하면 됩니다.
데이터 과학자는 OpenShift의 존재를 알 필요도 없습니다. 인프라와 컨테이너는 자동화 기반으로 이용할 수 있는 자원일 뿐입니다. 데이터 과학자는 cnvrg.io 플랫폼을 바라보고 머신 러닝 파이프라인을 생성해 개발이나 트레이닝 등의 작업을 수행하면 됩니다. 데이터 과학자나 AI 개발자는 모델 생성, 최적화, 관리 등 자신의 관심사에 집중하면 됩니다.
cnvrg.io 플랫폼 데모는 다음 영상을 참조 바랍니다. 참고로 본 포스팅은 cnvrg.io 창업자이자 CEO인 Yochay Ettun이 레드햇 블로그에 기고한 글을 참조해 작성한 것입니다.