Nvidia Jetson Orin을 통한 생성형 AI(Generative AI)와 비전(Vision) 모델은 많은 산업과 이동 기계에서 엣지 AI 응용 프로그램을 활용하는 데 중요한 길을 열었습니다. 이러한 기술적 진보는 산업 현장에서 AI를 활용하는 방식에 큰 영향을 끼칠 전망입니다. 몇 가지 예를 들어볼까요.
비디오 분석: 산업 현장에서 발생하는 이상 행동이나 위험 상황을 실시간으로 감지하기 위해 생성형 AI와 비전 모델을 활용할 수 있습니다. 이러한 모델은 카메라 피드를 분석하여 비정상적인 패턴이나 위험 상황을 식별하고 즉시 경고를 생성합니다.
결함 감지: 제조 공정 중에 발생할 수 있는 결함을 실시간으로 감지하고 분류하기 위해 생성형 AI를 사용할 수 있습니다. 이는 제품의 품질을 유지하고 불량률을 줄이는 데 도움이 됩니다.
로봇의 자율 항법: 생성형 AI와 비전 모델은 로봇이 복잡한 환경에서 자율적으로 항해하고 장애물을 피하도록 돕습니다. 이는 로봇이 더 안전하고 효율적으로 작동할 수 있도록 합니다.
인간과 로봇 간의 상호 작용: 생성형 AI는 자연어 처리와 비전 인식을 통해 인간과 로봇 간의 더 자연스러운 상호 작용을 가능하게 합니다. 이는 로봇이 인간의 명령을 이해하고 적절하게 반응할 수 있도록 돕습니다.
실시간 의사 결정: 산업 현장에서 발생하는 다양한 상황을 실시간으로 분석하고 의사 결정을 내리기 위해 생성형 AI를 활용할 수 있습니다. 이는 효율적인 운영과 빠른 대응을 돕습니다.
리모트 모니터링 및 진단: 생성형 AI와 비전 모델은 산업 현장의 장비 상태를 원격으로 모니터링하고 진단하는 데 사용될 수 있습니다. 이는 예방 유지보수 및 시스템 최적화를 지원합니다.
생성형 AI에 주목하는 이유?
생성형 AI는 컴퓨터 비전 분야에서 특히 전통적인 AI 모델이 직면한 도전 과제를 해결합니다. 예를 들어 CNN(Convolutional Neural Networks) 기반의 인간 감지 모델은 유용하지만 광범위한 후처리가 필요하며 익숙하지 않은 테스트 데이터에 어려움을 겪습니다. 반면, Fan + DINO 비전 트랜스포머 모델은 낮은 조명 조건에서 작은 물체를 감지하는 것과 같은 어려운 상황에서도 목표 데이터의 4분의 1만 사용하여 CNN 모델을 능가하는 견고한 옵션으로 등장합니다.
생성형 AI는 인간 언어 사용의 편의성을 크게 향상시킵니다. OWL + CLIP과 같은 제로샷 변환 모델은 사전 훈련 없이 개방형 어휘 감지와 분류에서 뛰어납니다. 사용자는 텍스트 프롬프트를 편집하여 관심 분야와 감지할 객체를 지정하고, 더 빠른 정보 검색을 돕습니다. CLIP 비전 변환기에 의해 제공되는 실시간 텍스트-이미지 및 이미지-이미지 검색은 기본 및 다중 모드 응용 프로그램 기능을 보여주며, 텍스트, 이미지 및 비디오 사이의 공유 임베디드 공간에서 작동합니다.
Nvidia Jetson Orin과 Edge AI 응용 프로그램:
생성형 AI를 엣지에 적용하는 것은 먼 미래의 일이 아닙니다. 장치도 준비되어 있고 모델 최적화와 배포를 위한 소프트웨어 스택도 NVIDIA가 모두 준비해 놓고 있습니다. 먼저 장치의 경우 Nvidia Jetson Orin이 있습니다. 생성형 AI는 Nvidia Jetson Orin 기반 엣지 AI 및 로봇 응용 프로그램의 활용 범위를 확장합니다. Nvidia Jetson Orin은 높은 성능, 메모리 용량 및 편리한 개발 경험을 제공을 위해 포괄적인 AI 소프트웨어 스택 및 생태계와 함께 제공됩니다. Nvidia Jetson Orin은 엣지에서 생성형 AI 배포와 활용을 용이하게 하여, 데이터 유입 및 엣지에서의 현장 상황을 이해하여 실제 세계와의 실시간 상호 작용을 가능하게 합니다.
생성형 AI 모델 배포: Jetson Generative AI Lab & NVIDIA TAO Toolkit
다음으로 소프트웨어 스택을 살펴보겠습니다. NVIDIA는 생성형 AI를 엣지에 적용하는 것을 사전 평가와 검증할 수 있는 플랫폼인 Jetson Generative AI Lab을 발표하였습니다. Jetson Generative AI Lab은 LLama2 및 Stable Diffusion과 같은 인기 있는 생헝형 AI 모델을 배포하기 위한 튜토리얼 및 워크스루를 제공하는 플랫폼입니다. 개발자는 텍스트 생성, 텍스트 + 비전 모델, 이미지 생성 및 증류 기술에 대한 튜토리얼을 통해 생성형 AI 세계에 본격적으로 발을 들여 놓을 수 있습니다. 각종 리소스는 Nvidia Jetson Orin에서 실행할 수 있으며, 비전 LLM 및 최신 원샷 Vision Transformers(ViT)로 실시간 성능을 경험할 수 있습니다.
그렇디면 프로덕션 환경에 배포는 어떻게? NVIDIA가 제공하는 소프트웨어 스택의 여러 요소를 활용하면 이 또한 간단히 작업할 수 있습니다. 개발자는 NVIDIA TAO Toolkit으로 엣지에 배포할 모델 학습과 최적화 작업을 빠르게 진행할 수 있습니다. TAO Toolkit을 사용하면 개발자들은 NVIDIA 사전 훈련 모델을 회사가 보유한 데이터로 미세 조정하고 추론을 최적화할 수 있습니다. NVIDIA TAO Toolkit은 ViT와 비전 파운데이터션 모델을 포함한 비전 AI 모델을 미세 조정하고 최적화할 수 있는 로우코드 인터페이스를 제공하여 경험이 많지 않은 개발자도 엣지 프로젝트에서 한몫할 수 있는 기회를 제공합니다. 예를 들어 NVIDIA NV-DINOv2 또는 OpenCLIP과 같은 공개 모델을 사용자 정의하고 미세 조정하여 매우 적은 데이터로 정확한 비전 AI 모델을 생성할 수 있습니다. 참고로 NV-DINOv2는 1억 개 이상의 이미지에서 자기 감독 학습을 사용하여 훈련된 유일한 상업적으로 실행 가능한 시각적 기반 모델이며, 이 모델은 적은 수의 훈련 데이터만으로 다양한 비전 AI 작업을 위해 빠르게 미세 조정될 수 있습니다.
살펴본 바와 같이 생성형 AI의 시대로의 전환은 Nvidia Jetson Orin 장치를 통해 가속되어 로봇 및 컴퓨터 비전에서 새로운 가능성을 열고 있습니다. 거대 언어 모델(LLM) 및 비전 모델을 실제 세계의 임베디드 시스템에서 엣지로 배포함으로써 차세대 응용 프로그램이 등장하고 있습니다. 더 자세한 내용은 “NVIDIA Jetson으로 생성형 AI를 실제로 만들기"라는 제목의 웨비나를 참조 바랍니다. 이 세션에서는 CLIP, OWL-ViT 및 SAM과 같은 개방형 어휘 비전 변환기를 가속화하고 고급 추론 및 인지 능력을 갖춘 대화형 AI 에이전트를 구축하기 위한 최적화 기술에 대한 설명을 들을 수 있습니다.