데이터 과학자나 개발자는 AI 프로젝트에서 중요한 역할을 합니다. 이들에게 적절한 도구와 모델 개발과 훈련 환경을 제공하는 것은 매우 중요하죠. 최적이 도구와 시스템 환경을 마련하기에 앞서 테스트해볼 방법이 있다면 모두가 반길 것입니다. 다행히 NVIDIA에서 그런 방법을 제공합니다. NVIDIA는 LaunchPad 실습 환경을 무료로 제공합니다. LaunchPad를 활용하면 AI 프로젝트 추진에 필요한 도구와 환경에 대한 단기 접근을 무료로 이용할 수 있습니다. 특정 작업이나 환경 구축 관련 PoC를 온라인상에서 간편히 할 수 있다고 봐도 될 듯 하네요.
LaunchPad는 다음과 같은 핸즈온랩 실습 환경을 제공합니다. 아래 열거한 것 외에도 다양한 실습 환경을 이용할 수 있습니다.
AI 이미지 분류 모델 훈련(VMWare vSpherer, Red Hat OpenShift 환경)
자연어 처리를 위한 BERT 모델 훈련
NeMo Megatron으로 대규모 NLP 모델 훈련
네트워크 엣지에 Vision AI 배포
실시간 음성 AI API 활용
대형형 AI 애플리케이션에서 음성 주차
등등..
이들 실습 환경에서 데이터 과학자와 개발자는 다음과 같은 NVIDIA의 다양한 기술과 도구 그리고 NVIDIA 인증 하드웨어에서 VMWare vSpherer, Red Hat OpenShift 환경을 체험할 수 있습니다.
NVIDIA AI Enterprise
NVIDIA Base Command
NVIDIA Metropolis
NVIDIA Fleet Command
NVIDIA Riva Enterprise
NVIDIA TAO Toolkit
등등…ㅡ
이번 포스팅에서는 이중 LaunchPad를 이용한 NVIDIA TAO Toolkit 실습을 간단히 알아보겠습니다. LaunchPad의 NVIDIA TAO Toolkit 핸즈온랩을 통해 데이터 과학자는 NVIDIA가 제공하는 사전 훈련된 모델을 이용해 데이터 집약적인 AI 애플리케이션 생성과 배포를 가속하는 과정을 체험할 수 있습니다.
참고로 NVIDIA TAO Toolkit은 TensorFlow 및 PyTorch를 기반으로 구축한 도구로 AI 프레임워크 복잡성을 추상화하여 모델 교육 프로세스를 가속합니다. 이런 특징으로 NVIDIA TAO Toolkit을 이용하면 AI 전문 지식이나 대규모 훈련 데이터 세트 없이도 보유한 자체 데이터로 NVIDIA가 제공하는 사전 훈련된 모델을 미세 조정하고 추론에 최적화할 수 있습니다.
LaunchPad의 NVIDIA TAO Toolkit 핸즈온랩을 이용하면 도구 체험을 위한 최상의 하드웨어 및 소프트웨어 조합 환경을 이용할 수 있습니다. TAO 툴킷 랩은 데이터 세트, GPU 최적화 사전 학습 모델, Jupyter 노트북 및 작업을 원활하게 수행하는 데 필요한 SDK로 구성되어 있습니다. 그리고 이 환경에서 다음과 같은 NVIDIA TAO Toolkit의 주요 기능 및 도입 효과를 체험해 볼 수 있습니다.
내장된 모델 최적화로 추론 속도 최대 4배 향상
오프라인 및 온라인 데이터 보강으로 모델 일반화
다중 GPU 및 다중 노드로 확장 및 확장하여 모델 교육 속도 향상
TensorBoard의 모델 학습 성능 시각화 및 이해
최근 출시된 NVIDIA AI Enterprise 2.1 관련 핸즈온랩도 준비되어 있으니 관심 있는 분은 LaunchPad 페이지를 참조 바랍니다.