생성형 AI를 엣지에 적용하는 것은 조만간 대세가 되지 않을까요? 만약 관심이 있다면 Jetson Generative AI Lab을 통해 사전 훈련과 평가를 해보세요. 관련해 이번 포스팅에서는 AI 모델을 배포하는 엣지 장치를 위한 데이터베이스로 NanoDB를 활용하는 것을 배울 수 있는 Jetson Generative AI Lab의 튜토리얼을 간단히 소개해 볼까 합니다.
NanoDB란?
먼저 NanoDB를 알아보겠습니다. NanoDB는 다중 모드 벡터 데이터베이스입니다. 벡터 데이터베이스는 데이터를 기하학적 또는 벡터 공간으로 표현하는 벡터 데이터를 처리하기 위한 솔루션이라 볼 수 있습니다. 이를 좀 기술적으로 표현하면 “NanoDB는 텍스트2이미지(txt2img) 및 이미지2이미지(img2img) 유사성 검색을 위해 CLIP 비전 변환기 의 임베딩을 사용하는 CUDA 최적화 다중 모드 벡터 데이터베이스”입니다.
NanoDB는 대규모 데이터셋에서 유사한 항목을 검색하는 시나리오에서 특히 유용합니다. 벡터 데이터베이스는 다중 모드 데이터(예: 텍스트, 이미지, 비디오)를 처리할 수 있으며 많은 AI 및 ML 응용 프로그램에 중요한 빠른 최근접 이웃 검색 기능을 제공합니다.
에지 컴퓨팅 환경에서 데이터를 효과적으로 인덱싱하고 검색하는 데 사용되는 것 외에도, NanoDB는 RAG(검색 증강 생성) 용 거대 언어 모델(LLM)과 함께 사용될 때, 내장된 컨텍스트 길이를 초과하는 장기 메모리를 위한 벡터 데이터베이스로서의 역할을 하기도 합니다. 이는 특히 Llama-2 모델의 경우 4096개의 토큰을 초과하는 경우에 해당합니다. Vision-Language 모델 또한 동일한 임베딩을 사용하여 데이터를 처리합니다.
요약하자면 NanoDB는 CUDA로 최적화된 다중 모드 벡터 데이터베이스로, CLIP 비전 변환기의 임베딩을 활용하여 텍스트와 이미지 간의 유사성 검색을 수행하며, 에지 환경에서 데이터를 효과적으로 인덱싱하고 검색하는 데 사용하기 좋습니다.
엣지에서의 데이터 처리
NVIDIA는 다양한 도구와 프레임워크를 통해 엣지에서 데이터 처리를 지원합니다. 그러한 프레임워크 중 하나는 TensorFlow와 PyTorch를 기반으로 한 NVIDIA TAO Toolkit입니다. 이 툴킷은 모델 훈련 과정을 간소화하고 가속화하여 개발자가 자신의 데이터로 사전 훈련된 모델을 미세 조정하는 것을 쉽게 만듭니다.
NanoDB와 같TAO Toolkit 같은 도구는 엣지에서 효율적인 데이터 인덱싱, 검색 및 처리를 가능하게 하는 데 중요합니다. 이들 솔루션을 잘 활용하면 인해 비디오 분석, 결함 감지, 로봇을 위한 자율 항법 및 인간-로봇 상호 작용과 같은 다양한 응용 프로그램 개발 효율을 높일 수 있습니다.
Jetson Generative AI Lab으로 실습 해보기
NVIDIA Jetson Generative AI Lab은 인기 있는 Generative AI 모델을 배포하는 방법에 대한 튜토리얼과 각종 리소스를 제공합니다. 앞서 소개한 NanoDB 관련 튜토리얼도 준비되어 있습니다. 튜토리얼은 Jetson 장치에서 NanoDB를 설정하고, 데이터셋을 인덱싱하고, 데이터셋 내에서 유사한 항목을 찾기 위한 검색 쿼리를 실행하는 방법에 대한 단계별 가이드를 제공합니다. 이러한 실제 연습을 통해 개발자들은 NanoDB와 같은 벡터 데이터베이스가 실제 엣지 AI 응용 프로그램에서 어떻게 활용될 수 있는지에 대한 실질적인 경험과 지식을 쌓을 수 있습니다.
더 자세한 내용은 실습 튜토리얼 또는 깃허브 페이지를 참조 바랍니다. 실습 페이지에 가면 위와 같은 데모 영상을 볼 수 있는 데요, 이 영상은 Jetson AGX Orin을 사용하여 MS COCO 이미지 캡션 데이터 세트의 275K 이미지에서 실시간으로 작동하는 것을 보여줍니다.