AI 워크플로우는 조직에 따라 약간의 차이가 있을 수 있습니다. 보편적인 단계로 나누어 보면 다음 그림과 같이 모델 개발, 모델 트레이닝, 모델 통합, 애플리케이션 배포와 모니터링으로 구성됩니다. 이 같은 워크플로우가 매끄럽게 흘려 가려면 각 단계별 담당자의 역할과 책임이 명확해야 합니다.
AI 워크플로우에 참여하는 담당자는 데이터 과학자 및 머신 러닝 연구자, 머신 러닝 및 데이터 엔지니어, 애플리케이션 개발자, 인프라스트럭처 운영 팀으로 나누어 볼 수 있습니다. 각각의 책임과 역할을 간단히 살펴보겠습니다.
데이터 과학자 및 머신 러닝 연구자 이들은 비즈니스 문제 해결을 위한 모델을 개발하는 역할을 합니다. 이들은 AI 연구 생태계가 발표하는 최신 논문을 적극적으로 참조하는 가운데 정교한 모델 개발에 매진합니다. 머신 러닝, 딥러닝 프레임워크와 트레이닝을 가속하는 플랫폼을 이용해 개발을 합니다. 모델 개발 외에 데이터 분석 역시 이들의 임무 중 하나입니다. 머신 러닝 및 데이터 엔지니어 특정 데이터 세트를 사용해 데이터 과학자가 개발한 모델을 프로덕션 환경에서 사용할 수 있도록 지원하는 업무를 담당합니다. 흔히 말하는 데이터 파이프라인을 설계하고 운영하는 역할을 맡습니다. 데이터 엔지니어는 데이터 파이프라인에 따라 모델의 정확성을 높이기 위해 새로운 데이터를 기반으로 모델을 지속해서 재트레이닝 합니다. 애플리케이션 개발자 개발자는 트레이닝을 마친 모델을 개발 중인 비즈니스 애플리케이션에 통합하는 작업을 합니다. 데이터 과학자와 애플리케이션 개발자는 지속적인 모델 최적화 및 신속한 배포라는 공통의 목표에 따라 업무를 진행합니다. 이 외에도 개발 일정과 비용 최적화 역시 공통의 목표로 삼습니다. 참고로 이들에게 MLOps 플랫폼과 GPU 가속 기반 인프라를 제공하는 것은 공동의 목표 달성에 있어 매우 중요한 전제 조건입니다. 한편, 애플리케이션 개발자는 사내에서 만든 모델 외에 외부에서 제공하는 API를 이용하여 AI를 개발에 반영하기도 합니다. 조직에 따라 데이터 과학자와 애플리케이션 개발자의 업무를 모두 맡는 경우도 많습니다. 인프라스트럭처 운영 팀 모델 개발부터, 트레이닝, 최적화, 프로덕션 환경에 배포하는 일련의 과정을 모두 지원하는 곳이 바로 인프라 운영 팀입니다. 데이터 과학자와 애플리케이션 개발자가 필요한 환경을 신속히 구축해 사용할 수 있도록 돕습니다.
운영 팀은 AI 프로젝트 팀이 생산성에 직접적인 영향을 끼칩니다. 운영 팀이 제공하는 컴퓨팅 환경이 민첩성과 유연성을 띠고 있지 않다면? 데이터 과학자와 개발자의 업무 생산성은 개발 환경 구축 단계에서부터 떨어집니다. 프로덕션 환경에 끼치는 영향도 부정적입니다. 이런 이유로 많은 조직이 자원을 가상화하고, 이 위에 컨테이너 기반 플랫폼을 구축합니다. 이를 통해 데이터 과학자와 개발자가 셀프서비스 방식으로 MLOps 체계 아래 자동화 기반으로 생산적으로 일할 수 있도록 합니다.
각 담당자의 역할을 보면 각자 자기 일만 잘하면 되는 것이 아니란 사실을 알 수 있습니다. 네, 모두 긴밀히 협업을 해야 합니다. AI 프로젝트 라이프사이클 측면에서 효과적인 협업이 가능하려면? 모든 단위 작업이 상호 긴밀한 연계성 아래에서 물 흐르듯이 흘러야 합니다. 이런 이유로 많은 조직이 AI 프로젝트 생산성 및 효율성 강화를 위해 MLops를 구축하려 노력합니다.
#머신러닝 #AI #딥러닝 #데이터파이프라인 #데이터_과학자 #머신러닝_연구자 #데이터_엔지니어