ChatGPT의 파급 효과가 나날이 커지고 있습니다. 많은 기업이 생성형 AI(Generative AI)의 파급 효과를 보고 AI 이니셔티브를 원점부터 다시 검토하고 있습니다. 관련해 생성형 AI 전략 수립을 위해 비즈니스 방향을 검토하는 동시에 생성형 AI 모델 추론(inference)을 위한 인프라와 소프트웨어 투자 전략을 구체화하려는 곳이 늘고 있습니다. 이런 조직에게 반가운 소식이 최근 발표되었습니다.
NVIDIA는 최근 생성형 AI 애플리케이션에 최적화된 4개의 추론 플랫폼을 출시하였습니다. 이 플랫폼은 엔비디아의 전체 추론 소프트웨어 스택과 NVIDIA L4 Tensor Core GPU 및 NVIDIA H100 NVL GPU를 포함한 최신 NVIDIA Ada, NVIDIA Hooper, NVIDIA Grace 프로세서를 기반으로 하는 추론 시스템입니다. 각 플랫폼은 AI 비디오, 이미지 생성, 대규모 언어 모델 배포 및 추천 추론을 포함하여 수요가 많은 워크로드에 최적화되어 있습니다.
이번 추론 플랫폼 출시와 관련해 젠슨 황(Jensen Huang) 엔비디아 설립자 겸 CEO는 "생성형 AI의 부상은 더욱 강력한 추론 컴퓨팅 플랫폼을 필요로 하고 있습니다"라며 "생성형 AI의 애플리케이션 수는 무한하며 인간의 상상력에 의해서만 제한됩니다. 개발자에게 가장 강력하고 유연한 추론 컴퓨팅 플랫폼을 제공하면 아직 상상할 수 없는 방식으로 우리의 삶을 개선할 새로운 서비스의 생성이 가속화될 것입니다."라고 말합니다.
생성형 AI의 다양한 추론 워크로드 가속화
각 플랫폼에는 생성형 AI 추론 워크로드에 최적화된 NVIDIA GPU와 특수 소프트웨어가 포함되어 있습니다.
AI 비디오용 NVIDIA L4: CPU보다 120배 더 높은 AI 기반 비디오 성능과 99% 향상된 에너지 효율성을 제공할 수 있습니다. 거의 모든 워크로드를 위한 범용 GPU 역할을 하는 이 제품은 향상된 비디오 디코딩 및 트랜스코딩 기능, 비디오 스트리밍, 증강 현실, 생성형 AI 비디오 등을 제공합니다.
이미지 생성을 위한 NVIDIA L40: 그래픽 및 AI 지원 2D, 비디오 및 3D 이미지 생성에 최적화되어 있습니다. L40 플랫폼은 데이터센터에서 메타버스 애플리케이션을 구축하고 운영하기 위한 플랫폼인 NVIDIA Omniverse의 엔진 역할을 하며, 이전 세대에 비해 안정적인 확산을 위한 추론 성능과 7배의 옴니버스 성능을 제공합니다.
대규모 언어 모델 배포를 위한 NVIDIA H100 NVL: ChatGPT와 같은 초거대 언어 모델을 대규모로 배포하는 데 이상적입니다. 트랜스포머 엔진 가속 기능이 있는 100GB 메모리가 탑재된 새로운 H94 NVL은 데이터센터 규모에서 이전 세대 A12에 비해 GPT-3에서 최대 100배 빠른 추론 성능을 제공합니다.
추천 모델을 위한 NVIDIA Grace Hooper: 그래프 추천 모델, 벡터 데이터베이스 및 그래프 신경망에 이상적입니다. 그레이스 호퍼는 CPU와 GPU 간의 900GB/s NVLink-C2C 연결을 통해 PCIe 7세대에 비해 5배 빠른 데이터 전송 및 쿼리를 제공할 수 있습니다.
NVIDIA가 제공하는 추론 플랫폼은 사전에 최적화된 소프트웨어 스택이 통합되어 있습니다. 여기에는 고성능 딥 러닝 추론을 위한 소프트웨어 개발 키트인 NVIDIA TensorRT와 모델 배포를 표준화하는 데 도움이 되는 오픈 소스 추론 서비스 소프트웨어인 NVIDIA Triton 추론 서버가 포함된 NVIDIA AI Enterprise 소프트웨어 제품군이 있습니다.
NVIDIA L4 GPU는 구글 클라우드 플랫폼에서 비공개 프리뷰로 제공되며, 어드밴텍, 아수스, 아토스, 시스코, 델 테크놀로지스, 후지쯔, 기가바이트, 휴렛팩커드 엔터프라이즈 , 레노버, QCT, 수퍼마이크로 등 30개 이상의 컴퓨터 제조사로 구성된 글로벌 네트워크에서도 이용할 수 있습니다. NVIDIA L40 GPU는 현재 ASUS, 델 테크놀로지스, 기가바이트, 휴렛팩커드 엔터프라이즈, 레노버, 수퍼마이크로 등 주요 시스템 빌더에서 구입할 수 있으며, 파트너 플랫폼의 수는 연중 확대될 예정입니다. Grace Hooper 슈퍼칩은 현재 샘플링 중이며 하반기에 전체 생산이 예상됩니다. H100 NVL GPU도 하반기에 출시 될 예정입니다.
새로 출시한 추론 플랫폼에 대한 상세 정보가 필요하면 유클릭으로 문의 바랍니다.
#생성형_AI #Generative_AI #Chat_GPT #NVIDIA_L4_GPU #NVIDIA_L40_GPU #NVIDA_H100_NVL #NVIDIA_Grace_Hooper