최근 애니스케일(Anyscale)은 연례 레이 서밋(Ray Summit) 개발자 컨퍼런스에서 레이(Ray)와 애니스케일 플랫폼에 엔비디아(NVIDIA) AI 소프트웨어 스택을 연계한다고 발표했습니다. 양사의 이번 협력은 최근 모든 기업의 관심사가 된 생성형 AI(Generative AI)를 비즈니스 전략에 반영하는 데 있는 더 높은 효율과 민첩성을 제공할 것으로 기대를 모으고 있습니다.
레이(Ray) 오픈소스와 애니스케일 플랫폼이란?
레이는 분산 컴퓨팅을 단순화하고, 대규모 애플리케이션을 빌드하고 실행할 수 있도록 도와주는 오픈 소스 프로젝트로 MLOps 전문가들 사이에서는 유명합니다. 애니스케일 플랫폼은 오픈 소스인 레이를 기반으로 한 상용 서비스라 생각하면 됩니다. 오픈 소스의 커뮤니티 기반 빠른 혁신을 수용하는 가운데 기업이 요구하는 신뢰성과 안정성 등에 대한 기준을 충족하는 것이 애니스케일 플랫폼이라 생각하면 됩니다. 애니스케일 플랫폼을 활용하면 기업들이 클라우드에서 쉽게 대규모 애플리케이션을 배포하고 관리할 수 있습니다.
NVIDIA AI 소프트웨어와 통합의 의미는?
NVIDIA AI 소프트웨어와 애니스케일 플랫폼 및 레이가 긴밀히 연계된다는 것은 새로운 가능성을 예고하고 있습니다. 모두가 기대하고 있는 것은 앞으로 AI를 더 효율적으로 구축, 훈련, 조정 및 확장할 수 있는 또 다른 선택지가 생긴다는 것입니다. 특히 요즘 기업 AI 전략에 큰 전환점을 제시하고 있는 생성형 AI 기술을 활용하는 데 있어서 큰 편의성을 제공할 전망입니다. 협력의 일환으로 애니스케일은 NVIDIA의 TensorRT-LLM, Triton Inference Server, NeMo를 통합할 것입니다. 이러한 소프트웨어는 LLM의 훈련, 추론 및 배포를 가속화하고 효율화하는 데 도움이 됩니다. 더불어 애니스케일 플랫폼과 NVIDIA AI ㄸ의 상호 인증을 통해 긴밀한 연계를 지원할 예정입니다.
생성형 AI LLM (Large Language Models)
NVIDIA와 애니스케일의 협력을 통해 생성형 AI와 거대 언어 모델(Large Language Models, LLM)의 개발과 배포의 비용과 복잡성이 줄어들 것으로 보입니다. 가령 애니스케일 플랫폼에서 NVIDIA NeMo 프레임워크를 활용하면 비즈니스 데이터로 LLM을 쉽게 미세 조정하고 사용자 정의할 수 있어, 언어 처리와 관련된 다양한 AI 애플리케이션 개발을 간소화할 수 있습니다.
애플리케이션 배포 가속화
애니스케일 플랫폼은 기업에 AI를 위한 통합 컴퓨팅 환경을 제공합니다. Ray를 기반으로 하므로 확장 가능한 AI 및 파이썬(Python) 애플리케이션의 구축, 배포 및 관리가 쉬워집니다. 더불어 NVIDIA AI Workbench를 통해 개발자들은 모델을 로컬 작업 스테이션에서 구축하고, 하이브리드 또는 멀티 클라우드 가속 컴퓨팅을 통해 쉽게 확장할 수 있습니다.
애니스케일 플랫폼과 NVIDIA AI Enterprise 소프트웨어의 시너지
애니스케일 플랫폼에 NVIDIA AI Enterprise 소프트웨어를 긴밀히 통합하는 것에도 AI 전문가 커뮤니티의 관심이 쏠리고 있습니다. 그 이유는 다음과 같이 요약할 수 있습니다.
운영 효율성 향상: 양사는 통합을 통해 클라우드 네이티브한 AI 소프트웨어를 통해 운영 효율성을 향상시키는 것을 목표로 삼고 있습니다.
개발 및 배포 개선: 또한, 양사는 개발자와 AI 팀에게 무누명한 사용자 경험을 제공하고, AI/ML 작업 부하를 더 빠르게 개발하고 대규모로 배포할 수 있도록 돕는 것을 공동의 목표로 합니다. 애니스케일 플랫폼과 NVIDIA AI Enterprise 통합이 완료되면 기업은 AI 관련 기능이나 서비스를 고객이나 시장에 더 빨리 선보일 수 있게 되고, 프로덕션 환경에서 추론과 최적화를 더 효율적으로 할 수 있습니다. 전체적으로 AI 수명주기에 전반에 걸쳐 더 빠른 반복이 가능해진다고 보면 됩니다.
개발자 접근 확장: 양사의 협력 덕분에 API를 통해 NVIDIA 소프트웨어에 대한 지원을 더 넓은 범위의 AI 애플리케이션 개발자까지 확장할 수 있게 되었습니다. 거시적인 측면에서 보자면 이는 최첨단 AI 소프트웨어에 대한 접근을 누구나 할 수 있는 기회를 확대한다고 풀이할 수 있습니다.
양사의 협력은 LLM의 개발 및 배포를 가속화하고 비용을 절감하는 데 도움이 될 것으로 기대됩니다. LLM은 자연어 처리, 기계 번역, 컨텐츠 생성 등 다양한 분야에서 사용되는 강력한 도구이지만, 기존 방법으로는 훈련과 추론에 많은 시간과 자원이 소요됩니다. 애니스케일과 NVIDIA의 통합은 이러한 문제를 해결하고 LLM을 더 많은 개발자와 기업이 사용할 수 있도록 하는 데 도움이 될 것입니다. 양사이 통합 결과물은 2023년 4분기에 공개될 예정입니다.