GTC 2021을 보면 1년 AI 프로젝트의 방향이 보이죠. 올 행사에서도 AI 프로젝트에 영향을 줄 따끈한 새로운 도구와 기술 소식이 가득했습니다. NVIDIA Jarvis, TAO 프레임워크, Maxine, Triton 추론 서버 2.9, TensorRT 8.0, Merlin, DeepStream 6.0에 대한 소식을 간단히 정리해 보았습니다.
#1: NVIDIA Jarvis
대화형 AI 분야에서 점점 그 존재감을 키우고 있는 NVIDIA Jarvis, 그 진화의 끝은 어디인가? 이번 행사에서 Jarvis의 최신 개선 사항이 소개되었습니다. 주요 내용은 다음과 같습니다. 참고로 이들 신기능은 NVIDIA는 2021년 2분기 공개하는 오픈 베타를 통해 만나볼 수 있습니다. 더 자세한 내용은 Jarvis 개발자 블로그를 참조 바랍니다.
90% 이상의 정확도를 보이는 즉시 사용할 수 있는 음성 인식 모델
TAO의 Transfer Learning Toolkit으로 모델 미세 조정
실시간 번역 지원, 문장당 지연 시간 100ms 미만 (5개 언어 우선 지원)
Tacotron2 보다 30배 더 높은 처리량을 보이는 Text-to-Speech
#2: NVIDIA TAO 프레임워크
TAO는 ’Train, Adapt, Optimize’의 약자입니다. NVIDIA TAO 프레임워크는 엔터프라이즈 AI 애플리케이션과 서비스 생성 과정을 간소화하고, 가속하는 GUI 기반 도구입니다. 이를 이용하면 사전 훈련을 마친 모델을 간편하게 미세 조정할 수 있습니다. 그 결과 몇 개월 걸릴 일을 몇 시간 내에 처리할 수 있습니다. 시간 절약보다 더 중요한 것이 있죠. 바로 깊이 있는 AI 전문 지식과 대규모 훈련 노하우가 없어도 데이터 준비부터 훈련, 최적화까지 워크플로우 전반을 단순하게 만들 수 있습니다. 이 툴의 주요 특징은 다음과 같습니다. 관심 있는 분은 조기 액세스 프로그램에 신청 바랍니다.
음성, 시각, 자연어 이해 등을 포함한 다양한 사전 훈련 모델 이용 가능
NVIDIA가 제공하는 사전 훈련 모델 및 TLT로 AI 개발 속도 10배 이상 개선
데이터 프라이버시를 보장하는 가운데 연합 학습(federated learning) 성능 향상
NVIDIA TensorRT를 활용한 모델 최적화로 추론 작업에 대한 높은 처리량과 짧은 지연 시간 보장
NVIDIA Triton 추론 서버를 사용해 CPU, GPU에 최적화된 방식으로 모델 배포
NVIDIA Fleet Command를 이용해 원활하게 AI 애플리케이션을 배포하고 오케스트레이션 작업 수행
TAO는 실제 기업이 큰 도움을 줄 것으로 보입니다. 제조 현장에 AI를 적용하는 것을 TAO가 얼마나 편리하게 바꾸는지를 소개하는 다음 영상을 보면 고개가 끄덕여질 것입니다.
#3: NVIDIA Maxine
코로나19로 비대면 서비스 인기가 하늘 높은 줄 모르고 오르고 있죠. 포스트 코로나 시대에도 이 인기는 식지 않을 것으로 보입니다. 관련 서비스를 준비 중이라면? 이번 행사에서 최신 릴리즈 소식을 전한 NVIDIA Maxine을 주목하십시오. NVIDIA Maxine은 화상 회의, 라이브 스트리밍 등 협업 서비스 구축에 필요한 개발 플랫폼입니다. 이것이 제공하는 SDK를 잘 활용하면 현재 개발 중이거나 앞으로 만들 서비스 출시일을 크게 앞당길 수 있습니다. 이번 릴리즈의 주요 특징은 다음과 같습니다.
Video Effects SDK : 초고해상도, 비디오 노이즈 제거, 가상 배경
증강 현실 SDK : 얼굴 추적 및 신체 포즈 추정 같은 3D 효과
Audio Effects SDK : 고품질 노이즈 제거 및 실내 에코 제거
한편, NVIDIA Maxine 기반 개발을 할 경우 음성 인식이나 번역 같은 기능이 필요하다면 NVIDIA Jarvis를 연계해 활용하면 됩니다.
#4: NVIDIA Triton 인퍼런스 서버 2.9
NGC에서 다운로드할 수 있는 Triton은 대규모 프로덕션 배포를 단순화하는 추론 서버입니다. 최신 릴리즈에 포함된 개선 사항은 다음과 같습니다. 상세 내용은 깃허브 페이지를 참조 바랍니다.
새로운 도구인 Model Navigator 추가로 TensorFlow 및 PyTorch 모델을 TensorRT로 자동 변환 및 검증 가능
Model Analyzer에 최적의 배치 크기와 모델 인스턴스 수를 자동으로 조정하는 기능이 강화되어 성능과 처리량 극대화
CPU 고성능 추론 지원, Windows Triton(알파), Seldon 및 Allegro 같은 MLOps 통합을 위한 OpenVINO 지원(베타)
#5: NVIDIA TensorRT 8.0
고성능 딥러닝 추론 SDK인 TensorRT의 최신 버전인 8.0 소식도 있었습니다. 이번 릴리즈의 주요 특징은 다음과 같습니다. 8.0 버전은 2021년 2분기 중에 사용할 수 있습니다.
INT8 정밀도로 FP32 정확도를 체험 가능
Sparsity 지원으로 Ampere GPU에서 최대 50% 더 높은 처리량 제공
컴파일러 최적화로 BERT 같은 트랜스포머 기반 네트워크에서 최대 2배 더 빠른 추론 성능 확보
#6: NVIDIA Merlin
AI 기반 추천 시스템 개발에 관심이 있다면 한번쯤 들어 왔을 Merlin도 최신 릴리즈가 공개되었습니다. 이번 릴리즈에서 주목할 점은 추천 워크플로우 간소화인데요, 다음 특징을 살펴보시죠.
새로 추가된 Merlin API로 워크플로우 및 훈련 파이프라인을 손쉽게 정의
Triton 인퍼런스 서버와 통합 강화로 추론 편의성 개선
더 큰 데이터 세트와 더 복잡한 모델로 확장도 간편
#7: NVIDIA DeepStream 6.0
AI 기반 비디오 서비스 구축을 돕는 툴킷인 DeepStream도 최신 버전이 나왔습니다. 이 버전은 사용자 친화적으로 인터페이스가 바뀐 것이 주목할만합니다. GUI 환경에서 이제 더 쉽고 빠르게 AI 기반 비디오 서비스를 위한 모델을 클라우드와 엣지에 배포할 수 있게 되었습니다. 최신 버전 체험은 조기 액세스 프로그램을 통해 할 수 있습니다.
