Jetpack 6의 출시로 엣지 컴퓨팅 분야에서 생성형 AI 모델과 LLM(대규모 언어 모델)을 사용하는 것이 훨씬 쉬워질 전망입니다. 2020년에 트랜스포머와 암페어 A100 GPU가 소개된 이후, AI 모델의 크기와 지능성이 급격하게 성장했는데, 이러한 변화는 Lama, Lama 2와 같은 오픈 소스 모델의 출시로 더욱 가속화되었습니다.
그러나 이러한 거대 모델들을 데스크톱이나 엣지 장치에서 실행하는 것은 큰 도전이었습니다. 이에 따라 로컬 및 임베디드 장치에서 이러한 모델을 배포하는 것에는 상대적으로 관심을 두는 이들이 많지 않았습니다. 그러나 Jetson 플랫폼을 통해 엣지에서 이러한 모델을 배포하는 것이 앞으로는 일반적인 작업이 될 것으로 보입니다.
Jetson AGX-ORIN은 최대 64GB의 통합 메모리와 2048 CUDA 코어, 275 테라옵스의 성능을 갖추고 있어, AI 모델을 엣지에서 효과적으로 실행할 수 있는 완벽한 플랫폼을 제공합니다. 엣지 컴퓨팅의 주요 이점은 지연 시간, 대역폭, 개인 정보 보호, 보안 및 가용성에 있습니다.
역대급 업그레이드! Jetpack 6의 등장
NVIDIA의 Jetpack 6는 Jetson 플랫폼 소프트웨어 아키텍처의 가장 큰 업그레이드로 기록될 것입니다. 이버 업그레이드는 Jetson 장치를 사용하는 개발자와 엔지니어들에게 중요한 의미를 가지며, AI.ML 분야의 발전에 기여할 것으로 기대를 모으고 있습니다.
Jetpack 6의 주목할 특징 중 하나는 업스트림 리눅스 커널과 운영체제(OS) 배포본에 기반을 두고 있다는 점입니다. 이것은 기존의 Jetson 사용자들에게 더 많은 선택권과 유연성을 제공합니다. 사용자들은 이제 자신의 요구 사항과 호환되는 다양한 리눅스 버전을 선택할 수 있습니다.
또한, NVIDIA는 CUDA의 버전을 L4T BSP(Linux for Tegra Board Support Package)에서 분리했습니다. 이것은 개발자들이 자신의 애플리케이션에 필요에 따라 다양한 버전의 CUDA, CUDNN(컨볼루션 신경망을 위한 CUDA Deep Neural Network 라이브러리), 그리고 TensorRT를 자유롭게 설치하고 실험할 수 있는 자유를 제공합니다. 이러한 변화는 Jetson 플랫폼의 사용자 경험을 개선하고 더 많은 실험과 혁신을 가능하게 합니다.
Jetpack 6는 PyTorch, TensorFlow와 같은 다양한 ML 프레임워크에 대해 최적화된 빌드와 컨테이너를 제공합니다. 이는 개발자들이 이러한 프레임워크를 Jetson 장치에서 보다 효율적으로 사용할 수 있도록 지원합니다. 더불어, 모든 거대 언어 모델(LLM)과 비전 트랜스포머(VIT) 라이브러리도 지원합니다. 이를 통해 개발자들은 TAO, NGC, Hugging Face에서 다운로드할 수 있는 세계적 수준의 사전 훈련된 모델을 Jetpack에서 사용하여 Jetson과 같은 엣지 장치에서 놀라운 성능을 경험할 수 있습니다.
또한, NVIDIA는 비디오 분석을 위한 더 많은 컴포넌트와 서비스를 Metropolis에서 Jetson으로 옮기고 있습니다. 이는 비디오 분석 애플리케이션 개발을 더욱 간편하고 효율적으로 만들 것입니다. 이와 함께, 자율 로봇을 위한 최적화된 비전 젬이 포함된 Isaac ROS 2.0도 출시되었습니다. 이는 로봇 개발자들이 로봇 애플리케이션을 더욱 효과적으로 구축하고 테스트할 수 있게 도와줍니다.
Jetpack 6는 11월 말 출시 예정으로 Jetson-Orin 장치 사용자들에게 향상된 성능과 기능을 제공할 것입니다. 또한, 이번 업그레이드는 향후 Jetson 플랫폼의 업그레이드를 훨씬 쉽게 만들 것으로 기대됩니다. 이러한 발전은 Jetson 사용자들에게 AI와 ML 개발의 새로운 가능성을 열어줄 것입니다. Jetson Orin을 활용해 엣지에 LLM이나 생성형 AI 모델 배포 데모를 보고 싶다면 다음 웨비나가 도움이 될 것입니다.