NVIDIA와 Anyscale는 거대 언어 모델(LLM)의 생산 배포를 가속화하기 위한 파트너십을 공고히하고 있습니다. 관련해 지난 번에 포스팅을 통해 그 의미를 좀 다루어 봤는데요. 이번 포스팅에서는 조금 더 구체적으로 기술 협력 내용을 알아보겠습니다.
현재 NVIDIA와 AnyScale의 협력은 LLM 개발, 배포, 그리고 최적화를 위해 다양한 방면에서 상호 작용을 진행하고 있습니다. 이들의 파트너십은 주로 Anyscale의 Ray 플랫폼과 NVIDIA AI Enterprise와 AI Workbench 등으로 구성된 AI 소프트웨어 스택 간의 통합을 중심으로 이루어지고 있습니다. 주요 키워드를 통해 양사 상호 작용의 세부 사항과 이런 노력이 LLM 개발에 어떻게 기여할 수 있을지 알아보겠습니다.
플랫폼 통합
NVIDIA AI Enterprise와 AI Workbench는 yscale의 Ray와 Anyscale 플랫폼에 통합되며, 이를 통해 개발자들은 LLM을 더 효율적으로 구축, 튜닝, 교육, 그리고 배포할 수 있습니다. 특히, Anyscale의 새로운 서비스인 Anyscale 엔드포인트는 개발자들이 LLM을 자신의 애플리케이션에 효과적으로 통합할 수 있도록 돕습니다.
성능 개선
NVIDIA의 TensorRT-LLM 소프트웨어는 LLM의 성능과 효율성을 향상시키기 위해 Anyscale 제품에 지원을 제공합니다. 이 소프트웨어는 여러 GPU에 걸쳐 모델을 병렬로 실행하여 추론을 자동으로 확장하며, 이를 통해 NVIDIA H100 Tensor Core GPU에서 최대 8배 높은 성능을 제공할 수 있습니다.
프레임워크 통합
NVIDIA NeMo 프레임워크는 Ray 사용자들이 LLM을 기업이 보유한 비즈니스 데이터로 쉽게 미세 조정하고 사용자 정의할 수 있도록 돕습니다. NeMo는 클라우드 네이티브 프레임워크로, 어디에서나 생성형 AI 모델을 구축, 사용자 정의 및 배포할 수 있습니다.
개발 및 배포 지원
Anyscale과 NVIDIA의 협력은 LLM의 성능, 확장성 및 관리를 개선하기 위한 새로운 도구와 기능을 공동 개발하며, 이러한 도구와 기능은 LLM의 성능, 확장성 및 관리를 개선하는 데 도움이 됩니다. 또한, 이들은 LLM을 배포하고 실행하는 데 도움이 되는 고객 지원을 제공하며, 이러한 지원에는 설치, 구성, 최적화 및 문제 해결이 포함됩니다.
앞서 살펴본 내용을 정리해 보자면 양사의 파트너십은 엔터프라이즈에서 LLM을 더 쉽게 배포하고 실행할 수 있게 만들어 LLM 기술의 채택을 촉진하고 다양한 산업에 혁신을 가져올 것으로 예상됩니다. 양사 협력이 더 깊은 수준까지 이루어지면 앞으로 더욱 빠르고 비용 효율적인 LLM 배포의 시대가 열리지 않을까 기대해 봅니다.