딥러닝 관련 프로젝트에서 가장 중요한 작업은 무엇일까요? 네, 모델 개발, 트레이닝, 추론 과정입니다. 이 작업에 데이터 과학자와 AI 개발자는 온 힘을 다하고, 자신에게 주어진 시간을 모두 투자해 집중해야 프로젝트의 성공을 앞당길 수 있습니다. 하지만 현실은 다르죠. 네, 데이터 과학자와 AI 개발자는 정작 중요한 작업을 하기 위해 데이터 처리를 위해 많은 시간을 써야 합니다.
AI 프로젝트를 상품이나 서비스에 접목해 새로운 성장 동력으로 삼고자 하는 기업 경영진의 눈으로 볼 때 이는 매우 귀중한 시간을 낭비하는 것입니다. 데이터 과학자와 AI 개발자가 더 빠르고 효율적으로 본연의 업무에 몰입할 수 있게 하는 것은 곧 기업이 AI 기반 상품과 서비스를 시장에 내놓은 속도의 경쟁력(Time to Market)을 좌우하기 때문이죠. 관련해 기업들이 데이터 과학자와 AI 개발자의 업무 생산성과 효율 개선을 돕는 솔루션과 서비스를 열심히 찾는 것이 요즘 AI 관련 기업의 투자 트렌드입니다. 오늘 소개할 것은 기업들이 애타게 찾는 딥러닝 관리 플랫폼을 제공하는 Valohai의 서비스입니다.
딥러닝 파이프라인 이를 구축해본 기업이 모두 공감하는 것이 하나 있습니다. AI 프로젝트를 하나 추진하려면 IT 부서부터 시작해 데이터 전문가까지 너무 많은 이들의 도움이 필요하다는 것을요. 어떤 작업이건 이해관계자가 많으면 서로 협조를 구해야 할 일이 많고, 이런 조건에서는 어딘가 업무 처리 속도를 늦추는 병목 구간이 존재하게 마련입니다. 이런 경우 가장 확실한 생산성 보장 방법은 프로젝트의 주체 역할을 하는 이들이 누군가의 도움 없이 주도적으로 자신의 일을 편리하게 할 수 있게 하는 것입니다.
머신 러닝이나 딥러닝 프로젝트의 경우 주인공은 데이터 과학자나 AI 개발자입니다. 이들이 인프라 구축과 데이터 전처리와 후처리 그리고 모델 배포와 모니터링 등의 관리 작업을 위해 누군가에게 도움을 요청하거나, 각 단계별 관리 도구를 이용해 직접 처리하는 데 있어 어려움을 격지 않게 하려면? 딥러닝 파이프라인에 걸쳐 관련 작업을 오케스트레이션하고, 인프라 구성과 데이터 처리와 저장, 배포와 모니터링 등 같은 부수적인 작업을 자동화 기반으로 간소화하면 됩니다.
Valohai의 서비스는 딥러닝 파이프라인 오케스트레이션 플랫폼이라고 생각하면 됩니다. 이를 쓸 때와 안 쓸 때 데이터 과학자와 AI 프로젝트 팀이 느끼는 업무량 차이를 비교해 보면 다음 그림과 같습니다. 구글 리서치 팀의 연구 결과인데 머신 러닝 프로젝트에서 핵심 코드 개발이 차지하는 비중은 5% 이고 시스템 관리에서 시작해 원천 데이터에서 피처(Feature)를 추출하고, 모델 트레이닝을 하고, 결과를 분석하는 등의 부가적인 작업 비중이 95%나 됩니다.
Valohai의 서비스는 다음과 같이 네 가지 요소로 구성됩니다. 딥러닝 프로젝트의 시작과 끝을 구성하는 작업 파이프라인 상에서 버전 관리, 서버와 스토리지 등 장치 관리, 팀 간 협업 지원 등을 위한 통합 관리 환경을 제공합니다.
Valohai의 서비스를 이용하면 앞서 예시로 올린 딥러닝 파이프라인 상에서 데이터 과학자와 AI 개발자는 IT 부서와 데이터 전문가의 도움 없이 스스로 프로젝트를 원활하게 끌고 갈 수 있습니다.
파이프라인 상의 모든 작업이 긴밀하게 연계되는 것은 기본이고 데이터 과학자와 AI 개발자가 가장 신경 써야 할 부분인 버전 관리 역시 완벽하게 이루어집니다. 개인 작업은 물론이고 팀 협업을 하는 데 있어 편의성이 매우 뛰어납니다.
Valohai의 유용성은 여러 부서에서 다양한 AI 프로젝트를 추진하는 조직의 경우 더욱 크게 다가옵니다. 데이터 탐색, 수집 등의 전처리 작업부터 피처 추출, 트레이닝, 배포, 프로덕션 환경 모니터링까지 모든 과정을 일관성 있게 할 수 있어 복수의 프로젝트 추진에 따른 복잡성 이슈 없이 투명하게 각 프로젝트의 파이프라인을 관리할 수 있습니다. 단일 프로젝트를 추진하는 규모가 작업 조직의 경우 외부 파트너와 협업에도 매우 유용합니다.
Valohai와 같은 머신 러닝, 딥러닝 파이프라인 관리 플랫폼 환경은 우버, 넷플릭스, 에어비앤비, 페이스북 등 AI 분야를 선도하는 기업에서는 매우 일반적으로 널리 쓰입니다. 이들 기업은 숱한 시행착오를 거치며 자사의 머신 러닝, 딥러닝 데이터 파이프라인 관리 플랫폼을 구축했는데요, 일반 기업에서 이들 기업처럼 직접 모든 것을 다하기는 사실상 불가능에 가깝습니다. Valohai는 일반 기업도 AI 선도 기업 못지않은 수준의 관리 플랫폼을 매우 간편하게 이용할 수 있도록 돕습니다. SaaS 형태나 구축형으로 간단히 이용할 수 있습니다. 또한, 특정 기술이나 업체 종속에 대한 우려를 없애기 위해 오픈 API, 오픈 소스, 업계 표준 기술을 기반으로 핵심 컴포넌트가 구성됩니다.
Comments