검색 결과

Nvidia Jetson Orin을 통한 생성형 AI(Generative AI)와 비전(Vision) 모델은 많은 산업과 이동 기계에서 엣지 AI 응용 프로그램을 활용하는 데 중요한 길을 열었습니다. 이러한 기술적 진보는 산업 현장에서 AI를 활용하는 방식에 큰 영향을 끼칠 전망입니다. 몇 가지 예를 들어볼까요. 비디오 분석: 산업 현장에서 발생하는 이상 행동이나 위험 상황을 실시간으로 감지하기 위해 생성형 AI와 비전 모델을 활용할 수 있습니다. 이러한 모델은 카메라 피드를 분석하여 비정상적인 패턴이나 위험 상황을 식별하고 즉시 경고를 생성합니다. 결함 감지: 제조 공정 중에 발생할 수 있는 결함을 실시간으로 감지하고 분류하기 위해 생성형 AI를 사용할 수 있습니다. 이는 제품의 품질을 유지하고 불량률을 줄이는 데 도움이 됩니다. 로봇의 자율 항법: 생성형 AI와 비전 모델은 로봇이 복잡한 환경에서 자율적으로 항해하고 장애물을 피하도록 돕습니다. 이는 로봇이 더 안전하고 효율적으로 작동할 수 있도록 합니다. 인간과 로봇 간의 상호 작용: 생성형 AI는 자연어 처리와 비전 인식을 통해 인간과 로봇 간의 더 자연스러운 상호 작용을 가능하게 합니다. 이는 로봇이 인간의 명령을 이해하고 적절하게 반응할 수 있도록 돕습니다. 실시간 의사 결정: 산업 현장에서 발생하는 다양한 상황을 실시간으로 분석하고 의사 결정을 내리기 위해 생성형 AI를 활용할 수 있습니다. 이는 효율적인 운영과 빠른 대응을 돕습니다. 리모트 모니터링 및 진단: 생성형 AI와 비전 모델은 산업 현장의 장비 상태를 원격으로 모니터링하고 진단하는 데 사용될 수 있습니다. 이는 예방 유지보수 및 시스템 최적화를 지원합니다. 생성형 AI에 주목하는 이유? 생성형 AI는 컴퓨터 비전 분야에서 특히 전통적인 AI 모델이 직면한 도전 과제를 해결합니다. 예를 들어 CNN(Convolutional Neural Networks) 기반의 인간 감지 모델은 유용하지만 광범위한 후처리가 필요하며 익숙하지 않은 테스트 데이터에 어려움을 겪습니다. 반면, Fan + DINO 비전 트랜스포머 모델은 낮은 조명 조건에서 작은 물체를 감지하는 것과 같은 어려운 상황에서도 목표 데이터의 4분의 1만 사용하여 CNN 모델을 능가하는 견고한 옵션으로 등장합니다. 생성형 AI는 인간 언어 사용의 편의성을 크게 향상시킵니다. OWL + CLIP과 같은 제로샷 변환 모델은 사전 훈련 없이 개방형 어휘 감지와 분류에서 뛰어납니다. 사용자는 텍스트 프롬프트를 편집하여 관심 분야와 감지할 객체를 지정하고, 더 빠른 정보 검색을 돕습니다. CLIP 비전 변환기에 의해 제공되는 실시간 텍스트-이미지 및 이미지-이미지 검색은 기본 및 다중 모드 응용 프로그램 기능을 보여주며, 텍스트, 이미지 및 비디오 사이의 공유 임베디드 공간에서 작동합니다. Nvidia Jetson Orin과 Edge AI 응용 프로그램: 생성형 AI를 엣지에 적용하는 것은 먼 미래의 일이 아닙니다. 장치도 준비되어 있고 모델 최적화와 배포를 위한 소프트웨어 스택도 NVIDIA가 모두 준비해 놓고 있습니다. 먼저 장치의 경우 Nvidia Jetson Orin이 있습니다. 생성형 AI는 Nvidia Jetson Orin 기반 엣지 AI 및 로봇 응용 프로그램의 활용 범위를 확장합니다. Nvidia Jetson Orin은 높은 성능, 메모리 용량 및 편리한 개발 경험을 제공을 위해 포괄적인 AI 소프트웨어 스택 및 생태계와 함께 제공됩니다. Nvidia Jetson Orin은 엣지에서 생성형 AI 배포와 활용을 용이하게 하여, 데이터 유입 및 엣지에서의 현장 상황을 이해하여 실제 세계와의 실시간 상호 작용을 가능하게 합니다. 생성형 AI 모델 배포: Jetson Generative AI Lab & NVIDIA TAO Toolkit 다음으로 소프트웨어 스택을 살펴보겠습니다. NVIDIA는 생성형 AI를 엣지에 적용하는 것을 사전 평가와 검증할 수 있는 플랫폼인 Jetson Generative AI Lab을 발표하였습니다. Jetson Generative AI Lab은 LLama2 및 Stable Diffusion과 같은 인기 있는 생헝형 AI 모델을 배포하기 위한 튜토리얼 및 워크스루를 제공하는 플랫폼입니다. 개발자는 텍스트 생성, 텍스트 + 비전 모델, 이미지 생성 및 증류 기술에 대한 튜토리얼을 통해 생성형 AI 세계에 본격적으로 발을 들여 놓을 수 있습니다. 각종 리소스는 Nvidia Jetson Orin에서 실행할 수 있으며, 비전 LLM 및 최신 원샷 Vision Transformers(ViT)로 실시간 성능을 경험할 수 있습니다. 그렇디면 프로덕션 환경에 배포는 어떻게? NVIDIA가 제공하는 소프트웨어 스택의 여러 요소를 활용하면 이 또한 간단히 작업할 수 있습니다. 개발자는 NVIDIA TAO Toolkit으로 엣지에 배포할 모델 학습과 최적화 작업을 빠르게 진행할 수 있습니다. TAO Toolkit을 사용하면 개발자들은 NVIDIA 사전 훈련 모델을 회사가 보유한 데이터로 미세 조정하고 추론을 최적화할 수 있습니다. NVIDIA TAO Toolkit은 ViT와 비전 파운데이터션 모델을 포함한 비전 AI 모델을 미세 조정하고 최적화할 수 있는 로우코드 인터페이스를 제공하여 경험이 많지 않은 개발자도 엣지 프로젝트에서 한몫할 수 있는 기회를 제공합니다. 예를 들어 NVIDIA NV-DINOv2 또는 OpenCLIP과 같은 공개 모델을 사용자 정의하고 미세 조정하여 매우 적은 데이터로 정확한 비전 AI 모델을 생성할 수 있습니다. 참고로 NV-DINOv2는 1억 개 이상의 이미지에서 자기 감독 학습을 사용하여 훈련된 유일한 상업적으로 실행 가능한 시각적 기반 모델이며, 이 모델은 적은 수의 훈련 데이터만으로 다양한 비전 AI 작업을 위해 빠르게 미세 조정될 수 있습니다. 살펴본 바와 같이 생성형 AI의 시대로의 전환은 Nvidia Jetson Orin 장치를 통해 가속되어 로봇 및 컴퓨터 비전에서 새로운 가능성을 열고 있습니다. 거대 언어 모델(LLM) 및 비전 모델을 실제 세계의 임베디드 시스템에서 엣지로 배포함으로써 차세대 응용 프로그램이 등장하고 있습니다. 더 자세한 내용은 “NVIDIA Jetson으로 생성형 AI를 실제로 만들기"라는 제목의 웨비나를 참조 바랍니다. 이 세션에서는 CLIP, OWL-ViT 및 SAM과 같은 개방형 어휘 비전 변환기를 가속화하고 고급 추론 및 인지 능력을 갖춘 대화형 AI 에이전트를 구축하기 위한 최적화 기술에 대한 설명을 들을 수 있습니다. #NVIDIA #Generative_AI #Jetson_Generative_AI_Lab#NVIDIA_TAO_Toolkit #Nvidia_Jetson_Orin #OWL_CLIP #LLM #엣지_생성형AI

NVIDIA는 생명공학과 의료 분야에서 인공지능(AI)의 활용을 확대하려는 노력을 하고 있습니다. 이를 지원하기 위해, NVIDIA는 Clara 플랫폼과 MONAI 프레임워크를 제공하고 있습니다. Clara는 의료 영상, 의료 기기, 유전체학, 신약 개발 등에 사용되는 기술을 제공하는 반면, MONAI는 의료 AI의 전체 수명 주기를 지원하는 툴킷으로, 데이터 라벨링의 자동화, 합성 데이터 생성, 대규모 모델 학습 등의 기능을 제공합니다. NVIDIA는 이러한 플랫폼과 도구를 사용하여 클라우드 서비스와 통합하고, 솔루션 제공 업체와 협력하여 의료 분야의 AI 기술을 발전시키고 있습니다. 또한 NVIDIA는 생성형 AI를 활용하여 의료 영상 데이터를 합성하고, 새로운 모델을 개발하여 기존 연구를 확장하고 있습니다. 생성형 AI 최근 NVIDIA는 생성형 AI의 영역을 헬스케어 부문까지 확장하는 데에도 속도를 높이고 있습니다. NVIDIA는 생성형 AI(Generative AI)을 활용하여 의료 영상 분야에서 혁신을 추구하고 있습니다. 그들의 노력의 일환으로 NVIDIA는 RadImageGAN이라는 기술을 개발하였으며, 이는 2D 의료 영상에 대한 다양한 합성 데이터를 생성할 수 있는 것으로 알려져 있습니다. 생성형 AI는 기존 데이터를 기반으로 새로운 데이터를 생성할 수 있는 AI 기술의 한 분야로, 이는 의료 영상 분야에서 매우 유용할 수 있습니다. 예를 들어, 합성 데이터는 기존 연구를 재현하고 확장하며, 더 많은 의료 영상 데이터를 제공하여 머신 러닝 모델의 학습을 돕습니다. NVIDIA의 생성형 AI 노력의 일환으로 RadImageGAN은 기존의 의료 영상 데이터를 기반으로 합성 데이터를 생성합니다. 이는 연구자들이 더 많은 데이터로 작업할 수 있게 해주며, 이는 더 나은 AI 모델을 개발하고 의료 진단의 정확도를 높일 수 있게 합니다. NVIDIA는 또한 이러한 기술을 활용하여 기존 연구를 재현하고 확장할 수 있는 새로운 모델을 개발하고 있습니다. 이러한 모델은 의료 영상 데이터의 특성을 더 잘 이해하고, 더욱 정확한 진단을 제공할 수 있도록 돕습니다. RadImageGAN을 통해 생성된 합성 데이터는 또한 의료 영상 분야의 연구를 촉진시키고, 더 높은 정확도와 더 나은 의료 서비스를 제공하는 데 기여할 수 있습니다. 생성형 AI 기술과 MONAI의 시너지 실제로 생성형 AI는 합성 데이터를 통해 의료 분야를 변화시키고 있으며, 의료 기기 회사, 제약 회사 및 학술 의료 센터에 고품질이며 편향되지 않은 데이터를 제공하면서 더 빠른 발견과 개선된 환자 결과를 가져옵니다. 생성형 AI 모델은 복잡한 질병 메커니즘을 식별하고, 임상 결과를 예측하며 환자에게 맞춤형 치료를 제공하는 데 도움이 됩니다. MONAI는 의료 AI를 구축하고 배포하기 위한 프레임워크로 생성형 AI를 향상시키는 방법으로 큰 합성 데이터 세트를 생성합니다. 이는 변화하는 환자 데이터에서 학습하면서 환자의 프라이버시를 보호하는 AI 모델을 학습시키는 데 도움이 됩니다. Latent Diffusion Model은 의료 영상을 위한 생성형 AI에서의 돌파구로, 인간의 해부학, 특히 고해상도 뇌 이미지의 합성 의료 이미지를 생성할 수 있습니다. NVIDIA, Mount Sinai 및 East River Imaging은 RadimageGAN이라는 새로운 생성형 AI 모델을 개발했습니다. 이 모델은 2D 의료 영상화를 위한 가장 다양한 합성 데이터 생성기로, 의료 연구자와 전문가에게 더 큰 유연성을 제공합니다. 전반적으로, RadImageGAN 및 Latent Diffusion Models와 같은 생성형 AI 모델은 의료 분야에서 혁명을 주도하고 있습니다. 이들 모델은 딥러닝 모델을 교육하는 데 사용될 수 있는 고품질의 데이터를 제공하며, 개선된 환자 결과와 의료 영상 모델의 성능 향상을 가져옵니다. 이러한 모델에 액세스하려면 NVIDIA NGC 카탈로그 또는 MONAI Model Zoo를 방문하세요. #생성형AI #RadImageGAN #MONAI #Clara #Latent_Diffusion_Model

NVIDIA와 Anyscale는 거대 언어 모델(LLM)의 생산 배포를 가속화하기 위한 파트너십을 공고히하고 있습니다. 관련해 지난 번에 포스팅을 통해 그 의미를 좀 다루어 봤는데요. 이번 포스팅에서는 조금 더 구체적으로 기술 협력 내용을 알아보겠습니다. 현재 NVIDIA와 AnyScale의 협력은 LLM 개발, 배포, 그리고 최적화를 위해 다양한 방면에서 상호 작용을 진행하고 있습니다. 이들의 파트너십은 주로 Anyscale의 Ray 플랫폼과 NVIDIA AI Enterprise와 AI Workbench 등으로 구성된 AI 소프트웨어 스택 간의 통합을 중심으로 이루어지고 있습니다. 주요 키워드를 통해 양사 상호 작용의 세부 사항과 이런 노력이 LLM 개발에 어떻게 기여할 수 있을지 알아보겠습니다. 플랫폼 통합 NVIDIA AI Enterprise와 AI Workbench는 yscale의 Ray와 Anyscale 플랫폼에 통합되며, 이를 통해 개발자들은 LLM을 더 효율적으로 구축, 튜닝, 교육, 그리고 배포할 수 있습니다. 특히, Anyscale의 새로운 서비스인 Anyscale 엔드포인트는 개발자들이 LLM을 자신의 애플리케이션에 효과적으로 통합할 수 있도록 돕습니다​. 성능 개선 NVIDIA의 TensorRT-LLM 소프트웨어는 LLM의 성능과 효율성을 향상시키기 위해 Anyscale 제품에 지원을 제공합니다. 이 소프트웨어는 여러 GPU에 걸쳐 모델을 병렬로 실행하여 추론을 자동으로 확장하며, 이를 통해 NVIDIA H100 Tensor Core GPU에서 최대 8배 높은 성능을 제공할 수 있습니다​. 프레임워크 통합 NVIDIA NeMo 프레임워크는 Ray 사용자들이 LLM을 기업이 보유한 비즈니스 데이터로 쉽게 미세 조정하고 사용자 정의할 수 있도록 돕습니다. NeMo는 클라우드 네이티브 프레임워크로, 어디에서나 생성형 AI 모델을 구축, 사용자 정의 및 배포할 수 있습니다​. 개발 및 배포 지원 Anyscale과 NVIDIA의 협력은 LLM의 성능, 확장성 및 관리를 개선하기 위한 새로운 도구와 기능을 공동 개발하며, 이러한 도구와 기능은 LLM의 성능, 확장성 및 관리를 개선하는 데 도움이 됩니다. 또한, 이들은 LLM을 배포하고 실행하는 데 도움이 되는 고객 지원을 제공하며, 이러한 지원에는 설치, 구성, 최적화 및 문제 해결이 포함됩니다​. 앞서 살펴본 내용을 정리해 보자면 양사의 파트너십은 엔터프라이즈에서 LLM을 더 쉽게 배포하고 실행할 수 있게 만들어 LLM 기술의 채택을 촉진하고 다양한 산업에 혁신을 가져올 것으로 예상됩니다. 양사 협력이 더 깊은 수준까지 이루어지면 앞으로 더욱 빠르고 비용 효율적인 LLM 배포의 시대가 열리지 않을까 기대해 봅니다. #NVIDIA #AnyScale #TensorRT #LLM #NVIDIA_AI_Enterprise #NVIDIA_NeMo

이전 포스팅에서 소개하였는데요, 이번에는 생성형 AI 기반 기업용 챗봇을 개발하는 내용을 간단히 살펴보겠습니다. 참고로 이 챗봇의 이름은 '코파일럿(co-pilot)'이라고 부르겠습니다. 이 개발 시나리오는 오픈 소스로 공개된 초거대 언어 모델(LLM)을 이용해 프로덕션 환경에서 운영할 챗봇을 만드는 것입니다. 요즘 허깅페이스나 NGC 같이 오픈 소스 LLM 및 sLLMs(Small LLMs)을 모아 놓은 리포지토리에서 사전 훈련을 마친 모델을 가져와 미세 조정 또는 파인 튜닝 하는 것에 대한 이야기가 많습니다. 하지만 실제 오픈 소스 모델을 사내 데이터로 최적화하여 프로덕션까지 간 사례는 아직 많이 보고되고 있지는 않습니다. 방법론 측면에서는 익숙하지만 아직은 낯선 일이라 할 수 있습니다. NVIDIA의 AI 소프트웨어어와 Ray 기반 애니스케일 플랫폼을 활용하면 오픈 소스 모델을 가져와 최적화를 한 다음 프로덕션 서비스에 적용하는 과정을 간소화할 수 있습니다. 머지않아 오픈 소스 모델을 활용한 프로덕션 서비스 사례가 많아지지 않을까 싶네요. 코파일럿은 LLM을 사용하는 대화형 인터페이스를 제공하는 챗봇입니다. 이를 활용하면 기업 내 누구나 새 콘텐츠를 작성하고, 아이디어를 생성하고, 작업을 자동화할 수 있습니다. 참고로 코파일럿은 사내 데이터를 통해 최적화를 한 다음 프로덕션 환경에 올립니다. 이 전체 과정이 NVIDIA의 AI 소프트웨어와 애니스케일 플랫폼에서 어떻게 물 흐르듯이 이어지는 지 알아보겠습니다. 전체 워크플로우는 다음과 같습니다. GPU가 장착된 노트북 또는 로컬 워크스테이션에서 작업하는 개발자는 NVIDIA NGC 리포지토리에서 코파일럿 개발에 필요한 NVIDIA AI 소프트웨어를 가져와 애니스케일의 Ring와 호환되도록 구축합니다. 그러고 나서 NVIDIA AI Workbench를 사용하여 Jupyter를 시작하고 허깅페이스에서 LLaMA2 언어 모델을 가져옵니다. 개발자는 테스트를 위해 모델에 NVIDIA와 애니스케일의 파트너십에 대해 질문합니다. 모델이 확장되지 않았기 때문에 NVIDIA AI 소프트웨어에 대한 언급이 없는 일반적인 응답을 제공합니다. 이 문제를 해결하기 위해 개발자는 Retrieval Augmented Generation(RAG)을 사용하여 LLaMA2 모델을 벡터 데이터베이스 및 언어 체인으로 확장합니다. NVIDIA 및 애니스케일과 관련된 문서는 로컬 리소스를 사용하여 업로드하거나 클라우드를 사용하여 확장할 수 있습니다. 수천 개의 문서가 있으므로 더 많은 컴퓨팅 리소스가 필요합니다. 이미 애니스케일 호환 환경을 설정했으므로 쉽게 임베딩을 생성하고 클라우드에서 프로덕션 배포를 준비할 수 있습니다. 애니스케일의 명령줄 인터페이스(CLI) 및 NVIDIA AI Workbench를 활용하여 전체 프로젝트가 애니스케일 워크스페이스에 업로드됩니다. 모델을 배포하기 전에 개발자는 RAPIDS에서 이제 지원되는 NVIDIA TRT LLM을 사용하여 LLaMA2 모델을 최적화해야 합니다. 이를 통해 지연 시간 문제를 개선할 수 있습니다. RAG 개선 모델을 애니스케일 서비스로 다중 노드에 배포하는 것은 하나의 명령어로 수행됩니다. 다음으로 개발자는 엔드포인트 정보를 가져와 Python 또는 curl을 통해 엔터프라이즈 애플리케이션에 쉽게 통합합니다. 모델에 최신 정보가 확장되어 있으므로 앞선 테스트와 달리 프롬프트를 통해 VIDIA와 애니스케일의 파트너십에 대한 질문을 하면 더 정확한 응답을 제공합니다. 코파일럿 개발 시나리오에서 보듯이 NVIDIA의 소프트웨어와 애니스케일 플랫폼 조합은 개발자가 언어 기반 생성 AI 애플리케이션을 빠르고 효율적으로 생성할 수 있도록 돕습니다. 일단 실제로 한번 테스트 해보세요. NVIDIA AI Enterprise 90일 평가받을 신청한 다음 테스트해 보는 것을 추천합니다. #NVIDIA #AnyScale #Ray #LLaMA2

메르세데스-벤츠가 최근 디지털 전환에 속도를 높이고 있습니다. 이 중 최근 이목을 끄는 소식이 있는데 바로 메르세데스-벤츠가 자사의 MO360 시스템과 NVIDIA Omniverse 플랫폼의 연계를 위한 NVIDIA와 협력의 구체적인 내용을 발표한 것입니다. NVIDIA Omniverse는 과학 연구, 인프라, 제품 디자인, 아키텍처 등 모든 산업이 디지털 트윈을 구축하고 운영할 수 있도록 하는 확장 가능한 엔드 투 엔드 플랫폼입니다. 현재 메르세데스-벤츠는 Omniverse를 사용하여 새로운 생산 및 조립 시설을 최적화하고 있습니다. 자동차를 제조하려면 수천 개의 부품과 작업자가 모두 조화롭게 움직여야 합니다. Omniverse에서 생성된 디지털 트윈을 사용하면 현재 생산을 방해하지 않고 시뮬레이션에서 새 모델의 조립 라인을 재구성할 수 있습니다. 생산 계획가들은 전 세계의 공장을 동기화하여 제조 장비에 대한 무선 소프트웨어 업데이트를 가능하게 하여 품질과 효율성을 향상시키면서 운영을 간소화할 수 있습니다. 메르세데스-벤츠는 독일 라슈타트에 있는 공장에서 새로운 EV 플랫폼을 제조할 준비를 하고 있습니다. 운영 전문가들은 Omniverse에서 새로운 생산 프로세스를 시뮬레이션하고 있으며, 이는 기존 차량 생산과 함께 사용할 수 있습니다. 이 가상 워크플로는 또한 자동차 제조업체가 공급망 중단에 신속하게 대응하여 필요에 따라 조립 라인을 재구성할 수 있게 합니다. 이번에 발표된 MO360 시스템과 NVIDIA Omniverse 플랫폼 간의 연계는 메르세데스-벤츠의 Omniverse 활용 폭을 크게 확장할 전망입니다. 참고로 MO360은 ‘Mercedes-Benz Cars Operations 360’의 약자로 메르세데스-벤츠의 자동차 생산 작업을 완전히 투명하게 만들고 효율성을 극대화하기 위해 개발한 시스템입니다. MO360은 공유 인터페이스와 표준화된 사용자 인터페이스를 통해 연결된 소프트웨어 애플리케이션들로 구성되어 있습니다. 이러한 애플리케이션들은 실시간 데이터를 사용하여 메르세데스-벤츠 자동차의 전 세계 차량 생산을 지원합니다. MO360의 대부분은 이미 전 세계 30개 이상의 공장에서 사용 중이며, 이러한 네트워크화된 공장들은 MO360 애플리케이션에서 액세스할 수 있는 데이터를 제공합니다. 메르세데스-벤츠 자동차의 생산 직원을 디지털로 지원하기 위한 기타 애플리케이션들이 차례대로 MO360에 통합될 예정입니다. MO360 시스템과 NVIDIA Omniverse 플랫폼 통합은 어떤 식으로 이루어질까요? 메르세데스-벤츠는 NVIDIA Omniverse 플랫폼을 활용하여 디지털 생태계, 특히 제조 및 조립 시설의 디자인, 협업, 계획 및 운영에 필수적인 Universal Scene Description (OpenUSD) 애플리케이션 개발을 위한 견고한 프레임워크를 구축하려고 합니다. 이를 통해 메르세데스-벤츠는 제조 프로세스에서 발생하는 산업 폐기물 감소, 에너지 소비 절감 및 전반적인 생산 프로세스 품질 향상을 목표로 하며, NVIDIA의 AI 및 메타버스 기술을 활용할 계획입니다. 참고로 OpenUSD는 실시간 3D 그래픽을 위한 효율적인 데이터 형식을 제공하여, 디지털 트윈 기술을 통해 실제 제조 시설의 가상 표현을 생성하고 최적화할 수 있게 합니다. 이러한 디지털 트윈은 제조 프로세스의 정확한 계획 및 시뮬레이션을 가능하게 하여 실제 세계에서 구현되기 전에 제조 프로세스를 정확하게 계획하고 시뮬레이션할 수 있습니다. 이번에 발표된 메르세데스-벤츠의 Omniverse 플랫폼 활용 방안에는 디지털 트윈의 미래가 담겨 있습니다. 옴니버스 플랫폼에서 얻은 운영과 데이터 기반 인사이트는 고도의 커스터마이징과 소프트웨어 통합이 필요한 소프트웨어 정의 차량(SDV) 생산에 필수적인 보다 민첩하고 대응력 있는 제조 프로세스 경쟁력의 원천이 되지 않을까요? 바로 이 점이 메르세데스-벤츠가 Omniverse 플랫폼에서 디지털 트윈의 미래를 찾는 이유 같아 보입니다. #Omniverse_플랫폼 #디지털트윈 #OpenUSD #MercedesBenz_Cars_Operations_360 #NVIDIA #SDV #소프트웨어_정의_자동차

소매: 온라인 오프라인 경계 없는 고객 분석 소매 업계의 경우 비전 AI 기술을 소매 매장에서 적용하면 다양한 소매 분석 시나리오를 더 풍부하게 만들 수 있습니다. 예를 들어 비전 AI는 고객의 나이, 성별, 표정 등을 식별하여 고객들의 인구 통계학적 인사이트를 제공합니다. 이 정보는 매장이 특정 고객 세그먼트를 더 효과적으로 대상으로 할 수 있도록 돕습니다. 더불어 고객들이 매장에서 어떻게 이동하는지, 어떤 제품이나 구역에 머무르는지를 추적하여, 매장 레이아웃의 최적화와 제품의 노출을 개선할 수 있습니다. 고객들이 특정 광고나 제품에 어떻게 반응하는지 분석하여 마케팅 전략을 미세 조정할 수 있습니다. 비전 AI는 재고 관리도 한 차원 수준을 높입니다. 실시간 비디오 분석을 통해 어떤 상품이 품절되었는지 또는 재고가 낮아지고 있는지를 식별하고, 특정 임계값 이하로 떨어질 때 자동으로 주문을 생성하여 재고 관리와 수급을 더 효과적으로 수행할 수 있습니다. 이외에도 비전 AI를 활용하여 매장 내 디지털 광고의 내용을 실시간으로 조정하고, 고객의 반응에 따라 광고 전략을 수정하는 시나리오도 생각해 볼 수 있습니다. 물류: 자동화를 넘어 지능화로 비전 AI 기술을 물류 현장에 적용하면, 더욱 풍부하고 정교한 분석 시나리오를 구현할 수 있어 물류 센터의 작업 효율과 정확도를 향상시킬 수 있습니다. 이러한 기술의 적용은 물류 센터에서의 자동화된 트래킹 및 인벤토리 관리를 가능하게 하여, 물류 흐름을 효율화하고 비용을 절감하는데 기여할 수 있습니다. 몇 가지 예를 들자면 비전 AI는 실시간으로 물품의 위치와 상태를 추적하고 기록하여, 물류 흐름을 더 투명하게 만들고 오류를 최소화할 수 있습니다. 택배 상자의 이미지를 분석하여 상자의 손상 여부나 배송 상태를 자동으로 판단하고 기록하는 것과 비전 AI를 사용하여 출하 전 상품을 자동으로 검증하고, 잘못된 물품이 출하되는 것을 방지데에도 활용할 수 있습니다. 비전 AI는 재고 관리도 탁월하게 해냅니다. 카메라와 비전 AI를 활용하여 물품의 수량을 자동으로 계산하고, 인벤토리 수준을 실시간으로 업데이트할 수 있습니다. 과거의 물류 데이터와 비디오 분석을 결합하여 미래의 재고 수요를 예측하고, 더 효율적인 재고 관리를 가능하게 할 수 있습니다. 이외에도 요즘 물류 현장에서 그 쓰임이 확대되고 있는 로봇과 사람 간의 매끄러운 협업을 지원하는 데에도 비전 AI가 역할을 할 수 있습니다. 비전 AI는 물류 센터 내의 로봇이 효율적인 경로로 이동하도록 돕고, 로봇과 인간 작업자 사이의 협업을 더 효과적으로 만들 수 있습니다. 제조: 스마트 팩토리의 눈 비전 AI 기술은 제조 업계에서 광범위하게 활용되고 있으며, 다양한 시나리오에서 기업들이 더 효율적이고 경쟁력 있는 운영을 실현할 수 있도록 돕고 있습니다. 정밀한 이미지 분석을 통해 제조 공정에서의 결함 식별 및 품질 보장 외에도, 여러 활용 시나리오가 등장하고 있습니다. 비전 AI는 제조 현장에서의 기계 및 장비의 작동 상태를 실시간으로 모니터링하고, 이상 징후를 탐지하여 즉시 알림을 제공할 수 있습니다. 이로 인해 기계 고장 및 중단 시간을 줄이고 제조 효율을 향상시킬 수 있습니다. 또한, 제조 현장에서의 작업자 안전을 모니터링하고, 안전 규정 위반을 실시간으로 탐지하여 사고를 예방하고 규정 준수를 돕습니다. 이외에도 제조 자동화의 핵심인 로봇 최적화에도 역할을 할 수 있습니다. 예로 비전 AI는 제조 로봇의 정확한 위치 및 조작을 지원하여, 더 높은 자동화 수준과 효율성을 달성할 수 있습니다. 스포츠: 보는 재미보다 더 큰 분석의 재미 비전 AI 기술은 프로 스포츠 리그에서 다양한 방식으로 활용되고 있습니다. 대표적인 예가 MLB입니다. MLB는 각 게임에서 약 7 테라바이트의 데이터를 수집하며, 이런 방대한 양의 데이터에서 패턴을 찾아 팀의 의사결정을 개선하는데 AI와 머신러닝을 활용하고 있습니다. MLB의 예와 같이 비전 AI 기술은 기존의 통계적 분석 방법을 넘어서, 비전 AI는 선수의 움직임과 성능을 더욱 정확하고 실시간으로 분석할 수 있는 기술을 제공합니다. 비전 AI 기술은 선수의 운동과 움직임을 자동으로 추적하고 평가하는데 사용됩니다. 이를 통해 훈련 프로그램을 최적화하고 선수의 성능을 개선할 수 있습니다​. 머신러닝 알고리즘을 활용하여 기존에 수집된 대량의 데이터에서 유의미한 통찰력을 이끌어 내며, 이를 통해 팀의 성능과 전략을 개선하는 것도 이제는 흔히 볼 수 있습니다. 비전 AI 기술을 비즈니스 성과로 연결하는 NVIDIA DeepStream SDK 비전 AI 기술을 애플리케이션에 통합하려는 시도는 다양한 도전 과제를 야기할 수 있습니다. 이러한 도전 과제로 데이터 품질과 양, 실시간 분석, 하드웨어 리소스, 모델 정확도 및 최적화, 보안 및 개인정보보호를 떠올릴 수 있습니다. 데이터의 품질과 양: 효과적인 비전 AI 모델을 구축하려면 대량의 고품질 데이터가 필요합니다. 데이터의 부족이나 낮은 품질의 데이터는 모델의 성능을 저하시킬 수 있습니다. 실시간 분석: 실시간 비디오 스트림 분석은 처리 속도와 반응 시간에 높은 요구사항을 제시합니다. 실시간 응답이 필요한 시나리오에서는 지연 시간을 최소화해야 합니다. 하드웨어 리소스: 비전 AI는 통상적으로 많은 계산 리소스를 필요로 합니다. 이는 하드웨어의 성능과 비용에 제한을 두게 됩니다. 모델의 정확도 및 최적화: 높은 정확도의 모델을 개발하고 최적화하는 것은 어려운 작업이 될 수 있으며, 이는 특히 비전 분야에서 더욱 그렇습니다. 보안 및 개인정보 보호: 비디오 데이터는 민감한 정보를 포함할 수 있으며, 이는 보안 및 개인정보 보호에 관련된 문제를 야기할 수 있습니다. NVIDIA DeepStream SDK는 위와 같은 도전 과제를 해결하는데 도움을 제공합니다. DeepStream SDK는 비디오 분석 파이프라인 구축을 위한 가속화된 AI 프레임워크를 제공합니다. 이는 기업들이 더 빠르게 시장에 진입하고 비용을 절감할 수 있도록 돕습니다. DeepStream SDK는 실시간 비디오 스트림 분석을 지원하며, 이는 비디오 및 센서 데이터 분석을 최적화하고 효율화하는데 중요합니다. 리소스 활용 측면에서도 이점이 큽니다. DeepStream을 사용하면 전체 System on Chip (SoC), 특히 Deep Learning Accelerator (DLA)를 적은 노력으로 활용할 수 있습니다. 이는 하드웨어 리소스의 효율적인 사용을 가능하게 합니다. 다음으로 모델 최적화 및 배포의 경우 DeepStream SDK는 모델의 최적화 및 배포를 단순화하며, 이를 통해 개발자들은 손쉽게 비전 AI 애플리케이션을 구축하고 배포할 수 있습니다. 마지막으로 보안을 알아보겠습니다. DeepStream SDK는 보안 및 개인정보 보호 기능을 제공하여 비디오 데이터 처리 시 민감한 정보를 보호할 수 있도록 돕습니다. 비전 AI 활용 문턱을 낮추는 NVIDIA DeepStream SDK 비전 AI 애플리케이션 개발자들은 비디오 및 센서 데이터를 분석하기 위해 AI 기반 애플리케이션을 구축할 때, NVIDIA의 DeepStream SDK를 활용하여 최적의 엔드투엔드 파이프라인을 구축할 수 있습니다. 이는 다음과 같은 DeepStream SDK의 주요 특징을 통해 설명할 수 있습니다. 다양한 플랫폼 지원: DeepStream SDK는 다양한 플랫폼을 지원하여 비전 AI 애플리케이션과 서비스를 더 빠르고 쉽게 개발할 수 있게 해줍니다. 이는 사내, 엣지 및 클라우드에서도 클릭 한 번으로 배포할 수 있는 기능을 제공합니다​. 통합 스트리밍 분석 툴킷: DeepStream SDK는 GStreamer 기반의 완전한 스트리밍 분석 툴킷으로, AI 기반의 다중 센서 처리, 비디오, 오디오, 이미지 이해를 위해 설계되었습니다. 이는 실시간으로 비디오, 이미지 및 센서 데이터에 대한 분석을 가능하게 해주며, 이러한 기능은 신호 교차로에서 차량 혼잡을 줄이거나, 병원에서 건강과 안전을 모니터링하거나, 소매점의 통로를 조사하여 고객 만족도를 높이거나, 제조 시설에서 구성 요소 결함을 탐지하는 등 다양한 애플리케이션에 필요합니다​. 엔드투엔드 AI 솔루션 구축: NVIDIA Metropolis와 함께 엔드투엔드 비전 AI 시스템을 구축하여 전반적인 개발 노력을 가속화하고 실시간 성능을 향상시킬 수 있습니다. 이를 통해 기업은 프로덕션 수준의 비전 AI 모델로 시작하여 이를 TAO Toolkit을 사용하여 적응시키고 최적화한 뒤 DeepStream을 사용하여 배포할 수 있습니다​. 스트리밍 파이프라인 구축: DeepStream을 사용하면 AI 기반 비디오, 오디오 및 이미지 분석을 위한 원활한 스트리밍 파이프라인을 구축할 수 있습니다. 이는 30개 이상의 하드웨어 가속 플러그인과 확장 기능을 제공하여 사전/사후 처리, 추론, 다중 객체 추적, 메시지 브로커 등을 최적화할 수 있도록 돕습니다. 또한 DeepStream은 실시간 다중 객체 추적기 중 일부를 제공하며, 인기 있는 객체 감지 및 분할 모델에 대한 광범위한 AI 모델 지원을 제공합니다​​. 클라우드 및 엣지: DeepStream SDK는 클라우드 또는 엣지 환경에서 전체 SoC를 효율적으로 활용할 수 있도록 도와줍니다. 특히 Deep Learning Accelerator(DLA)를 적은 노력으로 사용할 수 있도록 지원함으로써, 비전 AI 개발자들은 최적의 엔드투엔드 파이프라인을 구축하고, 더 빠른 시간 내에 시장에 진입하며 비용을 절감할 수 있습니다. 이러한 기능들은 NVIDIA DeepStream SDK가 비전 AI 기반 애플리케이션 개발을 효과적으로 수행할 수 있도록 지원하는 방법을 잘 보여줍니다. 이상으로 DeepStream SDK가 왜 중요한지를 비즈니스와 기술 측면에서 간단히 살펴보았습니다. #NVIDIA #DeepStream #SDK #VisionAI #TAO_Toolkit

생성형 AI(Generative AI)는 비즈니스에 AI를 접목하는 데 있어 무한 상상의 시대를 열고 있습니다. 많은 기업이 솔루션과 서비스를 공개하며 AI 시장의 새로운 활력소 역할을 하는 생성형 AI를 제대로 활용하는 것은 사실 만만한 일이 아닙니다. 특히 조직이 보유한 데이터로 모델을 조정하거나 파인튜닝을 하려면 사전에 살펴야 할 것들이 많습니다. 이런 사전 준비에 대한 고민을 해결할 방법은 없을까? 찾아 보면 늘 답은 있습니다. 생성형 AI 전략을 수립 중이라면 실행 가능한 전략 수립에 있어 NVIDIA AI Workbench가 큰 도움이 될 것입니다. AI Workbench는 파운데이션 모델을 선택하고, 프로젝트 환경을 구축하고, 도메인 특정 데이터로 사전 훈련을 마친 모델을 미세 조정하는 작업을 간소화합니다. 간단히 AI Workbench를 사용하는 방법을 살펴보겠습니다. 본 포스팅에서는 AI Workbench를 GeForce RTX 4090를 장착한 노트북에 설치하였고, 프로젝트 수행을 위해 NVIDIA RTX 6000 Ada 세대 GPU로 구동되는 워크스테이션을 컴퓨팅 환경으로 사용하는 것을 가정해 보겠습니다. AI Workbench는 자동으로 프로젝트의 환경을 생성하고, Jupyter를 포함한 모든 종속성을 가진 컨테이너를 구축합니다. 미세 조정을 하는 과정을 보겠습니다. Jupyter 노트북에서 다음과 같이 모델에게 우주에 있는 젠슨황 인형 그림을 생성하도록 요청합니다. 모델은 젠슨황을 본따 만든 인형 캐릭터를 본 적이 없기 때문에 다음과 같이 관련 없는 결과를 생성합니다. 이 문제를 해결하기 위해 젠슨황의 인형 이미지 8개 데이터로 모델을 미세 조정한 다음 다시 요청합니다. 그러면 훨씬 더 정확한 결과를 확인할 수 있습니다. 조정을 하였으니 이제 남은 일은 AI Workbench를 사용하여 애플리케이션에 새 모델을 배포하는 것입니다. 살펴본 예제를 보면 자체 데이터로 모델을 조정하는 것이 이렇게 쉬울 수 있을까 싶을 것입니다. Llama 2 70B와 같은 LLM을 다룰 때도 이런 간편한과 편리함은 똑같습니다. 적절한 인프라가 뒷받침된다면 사전 훈련을 마친 LLM도 간편하게 다룰 수 있습니다. 가령 앞서 살펴본 예제보다 훨씬 더 큰 모델인 ChatUSD를 미세 조정한다고 가정해 보겠습니다. 이 모델을 10,000 USD 코드 스니펫과 NVIDIA에서 구축한 거의 30,000 USD 함수로 조정해 훈련하는 시나리오를 지원하려면 8개의 NVIDIA L40S GPU가 있는 서버를 데이터센터나 클라우드에 준비하면 됩니다. AI Workbench를 사용하면 몇 번의 클릭으로 노트북에서 워크스테이션, 데이터센터 또는 클라우드까지 생성형 AI 프로젝트를 쉽게 확장할 수 있습니다. #AI_Workbench #NVIDIA #Generative_AI #생성형AI_파인튜닝_미세조정

최근 애니스케일(Anyscale)은 연례 레이 서밋(Ray Summit) 개발자 컨퍼런스에서 레이(Ray)와 애니스케일 플랫폼에 엔비디아(NVIDIA) AI 소프트웨어 스택을 연계한다고 발표했습니다. 양사의 이번 협력은 최근 모든 기업의 관심사가 된 생성형 AI(Generative AI)를 비즈니스 전략에 반영하는 데 있는 더 높은 효율과 민첩성을 제공할 것으로 기대를 모으고 있습니다. 레이(Ray) 오픈소스와 애니스케일 플랫폼이란? 레이는 분산 컴퓨팅을 단순화하고, 대규모 애플리케이션을 빌드하고 실행할 수 있도록 도와주는 오픈 소스 프로젝트로 MLOps 전문가들 사이에서는 유명합니다. 애니스케일 플랫폼은 오픈 소스인 레이를 기반으로 한 상용 서비스라 생각하면 됩니다. 오픈 소스의 커뮤니티 기반 빠른 혁신을 수용하는 가운데 기업이 요구하는 신뢰성과 안정성 등에 대한 기준을 충족하는 것이 애니스케일 플랫폼이라 생각하면 됩니다. 애니스케일 플랫폼을 활용하면 기업들이 클라우드에서 쉽게 대규모 애플리케이션을 배포하고 관리할 수 있습니다. NVIDIA AI 소프트웨어와 통합의 의미는? NVIDIA AI 소프트웨어와 애니스케일 플랫폼 및 레이가 긴밀히 연계된다는 것은 새로운 가능성을 예고하고 있습니다. 모두가 기대하고 있는 것은 앞으로 AI를 더 효율적으로 구축, 훈련, 조정 및 확장할 수 있는 또 다른 선택지가 생긴다는 것입니다. 특히 요즘 기업 AI 전략에 큰 전환점을 제시하고 있는 생성형 AI 기술을 활용하는 데 있어서 큰 편의성을 제공할 전망입니다. 협력의 일환으로 애니스케일은 NVIDIA의 TensorRT-LLM, Triton Inference Server, NeMo를 통합할 것입니다. 이러한 소프트웨어는 LLM의 훈련, 추론 및 배포를 가속화하고 효율화하는 데 도움이 됩니다. 더불어 애니스케일 플랫폼과 NVIDIA AI ㄸ의 상호 인증을 통해 긴밀한 연계를 지원할 예정입니다. 생성형 AI LLM (Large Language Models) NVIDIA와 애니스케일의 협력을 통해 생성형 AI와 거대 언어 모델(Large Language Models, LLM)의 개발과 배포의 비용과 복잡성이 줄어들 것으로 보입니다. 가령 애니스케일 플랫폼에서 NVIDIA NeMo 프레임워크를 활용하면 비즈니스 데이터로 LLM을 쉽게 미세 조정하고 사용자 정의할 수 있어, 언어 처리와 관련된 다양한 AI 애플리케이션 개발을 간소화할 수 있습니다. 애플리케이션 배포 가속화 애니스케일 플랫폼은 기업에 AI를 위한 통합 컴퓨팅 환경을 제공합니다. Ray를 기반으로 하므로 확장 가능한 AI 및 파이썬(Python) 애플리케이션의 구축, 배포 및 관리가 쉬워집니다. 더불어 NVIDIA AI Workbench를 통해 개발자들은 모델을 로컬 작업 스테이션에서 구축하고, 하이브리드 또는 멀티 클라우드 가속 컴퓨팅을 통해 쉽게 확장할 수 있습니다. 애니스케일 플랫폼과 NVIDIA AI Enterprise 소프트웨어의 시너지 애니스케일 플랫폼에 NVIDIA AI Enterprise 소프트웨어를 긴밀히 통합하는 것에도 AI 전문가 커뮤니티의 관심이 쏠리고 있습니다. 그 이유는 다음과 같이 요약할 수 있습니다. 운영 효율성 향상: 양사는 통합을 통해 클라우드 네이티브한 AI 소프트웨어를 통해 운영 효율성을 향상시키는 것을 목표로 삼고 있습니다. 개발 및 배포 개선: 또한, 양사는 개발자와 AI 팀에게 무누명한 사용자 경험을 제공하고, AI/ML 작업 부하를 더 빠르게 개발하고 대규모로 배포할 수 있도록 돕는 것을 공동의 목표로 합니다. 애니스케일 플랫폼과 NVIDIA AI Enterprise 통합이 완료되면 기업은 AI 관련 기능이나 서비스를 고객이나 시장에 더 빨리 선보일 수 있게 되고, 프로덕션 환경에서 추론과 최적화를 더 효율적으로 할 수 있습니다. 전체적으로 AI 수명주기에 전반에 걸쳐 더 빠른 반복이 가능해진다고 보면 됩니다. 개발자 접근 확장: 양사의 협력 덕분에 API를 통해 NVIDIA 소프트웨어에 대한 지원을 더 넓은 범위의 AI 애플리케이션 개발자까지 확장할 수 있게 되었습니다. 거시적인 측면에서 보자면 이는 최첨단 AI 소프트웨어에 대한 접근을 누구나 할 수 있는 기회를 확대한다고 풀이할 수 있습니다. 양사의 협력은 LLM의 개발 및 배포를 가속화하고 비용을 절감하는 데 도움이 될 것으로 기대됩니다. LLM은 자연어 처리, 기계 번역, 컨텐츠 생성 등 다양한 분야에서 사용되는 강력한 도구이지만, 기존 방법으로는 훈련과 추론에 많은 시간과 자원이 소요됩니다. 애니스케일과 NVIDIA의 통합은 이러한 문제를 해결하고 LLM을 더 많은 개발자와 기업이 사용할 수 있도록 하는 데 도움이 될 것입니다. 양사이 통합 결과물은 2023년 4분기에 공개될 예정입니다. #NVIDIA #Ray_Summit #Anyscale #NVIDIA_AI_Enterprise

NVIDIA는 생성형 AI 기술의 발전을 앞당기고, 이기술을 더 많은 기업과 개발자가 사용할 수 있도록 하기 위한 생태계 육성 전략을 추진하고 있습니다. NVIDIA는 하드웨어, 소프트웨어, 서비스, 커뮤니티를 아우르는 포괄적인 생태계를 구축하고 있습니다. NVIDIA는 하드웨어, 소프트웨어, 서비스를 아우르는 포괄적인 생태계를 구축하여 기업과 개발자가 생성형 AI를 보다 쉽고 효율적으로 사용할 수 있도록 지원하고 있습니다. NVIDIA의 생태계 전략은 크게 하드웨어와 가상화 및 컨테이너 기반 컴퓨팅 환경, 개발 및 관리 도구, 사전 훈련된 모델 제공 측면으로 나누어 볼 수 있습니다. 생성형 AI 비즈니스를 촉진하는 컴퓨팅 환경 NVIDIA의 제품, 기술, 세대를 관통하는 하드웨어의 핵심 가치는 ‘가속’입니다. 가속은 파운데이션 모델 훈련부터 사전 훈련을 마친 거대 모델의 최적화 및 추론까지 모든 영역에서 이루어집니다. 기업은 생성형 AI 전략에 따라 필요한 성능의 NVIDIA 하드웨어를 선택할 수 있습니다. 가령 파운데이션 모델 수준에서 비즈니스를 수행하는 빅테크나 통신사 같은 경우 거대 모델 훈련 시간을 획기적으로 단축할 수 있는 GH200 그레이스 호퍼 슈퍼칩 기반 시스템으로 인프라를 꾸리면 됩니다. 사전 훈련된 도메인 특화 모델 훈련과 추론에 집중하고 싶다면 NVIDIA L40S GPU를 탑재한 OVC 서버를 투입하면 됩니다. 현재 조직이 추진 중인 클라우드 전환 로드맵에 맞춰 생성형 AI 훈련과 추론 기반을 갖추고 싶다면? 이 역시 곧 선택지가 제공될 예정입니다. NVIDIA는 최근 VM웨어와 기술 협력을 발표하였습니다. 이에 따라 곧 엔비디아 AI 엔터프라이즈의 도구와 서비스를 VM웨어 프라이빗 AI 파운데이션과 통합해 활용할 수 있게 될 전망입니다. AI 프로젝트를 간소화는 개발 및 관리 환경 NVIDIA는 최근 AI Workbench를 선보였습니다. 이 솔루션은 NVIDIA AI 플랫폼에서 모델 튜닝과 배포를 간소화하는 통합 툴킷입니다. NVIDIA AI Workbench는 개발자가 빠르고 쉽게 생성형 AI 모델을 개발하고 배포할 수 있도록 지원합니다. AI 인프라와 플랫폼 관리의 경우 NVIDIA AI Enterprise를 활용하면 됩니다. 기업용 AI 플랫폼인 NVIDIA AI Enterprise는 최근 4.0 버전이 공개되었습니다. 4.0 버전은 다양한 산업 분야의 기업이 생성형 AI를 사용하여 비즈니스 혁신을 가속화할 수 있도록 지원합니다. 그리고 앞서 언급한 바와 같이 NVIDIA AI Enterprise는 VM웨어의 프라이빗 AI 파운데이션과 통합될 예정이어서 그 활용 폭이 더욱 넓어질 예정입니다. 예를 들어 기업은 VM웨어 프라이빗 AI 파운데이션을 사용하여 NVIDIA A100 Tensor Core GPU를 기반으로 구축된 AI 인프라를 구축할 수 있습니다. 그런 다음, 엔비디아 AI 엔터프라이즈의 도구와 서비스를 사용하여 AI 모델을 개발하고 배포할 수 있습니다. sLLM 활용 수요 충족 기업 중 상당 수는 파운데이션 모델이 아니라 사전 훈련을 마친 도메인 특화 sLLM(Small Large Language Model)을 활용해 디지털 비즈니스에 생성형 AI를 접목하고 있습니다. 우리 회사의 비즈니스 전력과 목표에 맞는 사전 훈련된 sLLM을 손쉽게 찾아 미세 조정을 하고 싶은 수많은 기업의 잠재 수요를 충족하기 위해 NVIDIA는 NGC 제공 외에도 허깅페이스, 깃허브와 긴밀히 협력하고 있습니다. NVIDIA는 이러한 리포지토리와의 협력을 통해 개발자가 기업의 필요에 맞는 sLLM을 보다 쉽게 찾고 사용할 수 있도록 지원합니다. 소개한 내용과 함께 주목할 NVIDIA의 행보로 NeMo Guardrails 오픈 소스 툴킷을 공개를 뺴놓을 수 없습니다. 생성형 AI는 아직 초기 단계에 있고, 특히 안전성과 윤리성, 그리고 비용 측면에서의 고려사항이 남아 있습니다. NVIDIA는 이러한 문제들을 충분히 고려하여, 안전하고 효과적인 생성형 AI의 발전을 지원하기 위해 NeMo Guardrails를 만들어 공개하였습니다. 이상으로 NVIDIA가 추진하는 생성형 AI 전략의 큰 맥락을 짚어 보았습니다. 정리하자면 NVIDIA의 생성형 AI 전략은 AI의 발전과 확산을 촉진하는 데 중요한 역할을 할 것으로 기대됩니다. NVIDIA의 전략은 하드웨어, 소프트웨어, 서비스, 그리고 윤리적 사용을 포함하는 통합적인 접근 방식을 기반으로 하고 있습니다. 이러한 접근 방식을 통해 NVIDIA는 생성형 AI가 사회, 경제, 문화 전반에 긍정적인 영향을 미치도록 하는 데 기여할 것으로 기대됩니다. #NVIDIA #Generative_AI #sLLM #Nemo_Guardrails #오픈소스 #NVIDIA_AI_Enterprise

마케팅 자료 생성 지원 서비스에 생성형 AI가 통합되는 이유는? 시간, 비용, 효율 세 가지 키워드로 정리할 수 있습니다. 기존의 마케팅 자료 제작은 많은 시간과 비용이 소요되었습니다. 그러나 생성형 AI를 활용하면, 텍스트, 이미지, 영상 등 다양한 디지털 컨텐츠를 빠르고 쉽게 생성할 수 있습니다. 이를 통해 마케팅 자료 제작에 소요되는 시간을 절약하고, 마케팅 예산을 효율적으로 사용할 수 있습니다. 생성형 AI로 만든 마케팅 자료는 내용도 충실합니다. 생성형 AI는 소비자의 니즈와 선호도를 반영하여 마케팅 자료를 생성할 수 있습니다. 이를 통해 소비자의 관심을 끌고, 구매 의사결정을 내리도록 유도할 수 있습니다. 생성형 AI가 마케팅 자료를 만드는 데 어떤 영향을 끼치는지, Canva와 NVIDIA-셔터스톡의 협력 사례를 중심으로 알아보겠습니다. Canva의 생성형 AI 도입 Canva는 사용자가 쉽게 디자인을 할 수 있도록 도와주는 플랫폼입니다. Canva는 생성형 AI를 적극적으로 활용하고 있으며 이로 인해 사람들이 일하는 방식에 변화를 이끌고 있습니다. 이 디자인 플랫폼은 생성형 AI를 이용해 사용자가 더 쉽고 빠르게 프로페셔널한 수준의 디자인을 만들 수 있도록 돕습니다. 사용자는 단순한 키워드나 몇 가지 기본 정보만 입력하면 AI가 이를 바탕으로 다양한 디자인 옵션을 제안해 줍니다. 예를 들어 '비즈니스 프레젠테이션'이라는 키워드로 검색하면 AI가 적합한 템플릿, 색상, 아이콘 등을 자동으로 조합해 제시합니다. 이로 인해 디자인에 걸리는 시간과 노력이 크게 줄어들고, 더 많은 사람들이 디자인 작업을 쉽게 접근할 수 있게 되었습니다. 이러한 변화는 특히 마케팅, 광고, 컨텐츠 제작 등 다양한 분야에서 혁신을 불러일으키고 있습니다. Canva는 디자인에서 한발 더 나아가 OpenAI가 제공하는 컨텐츠 생성 도구인 Magic Write를 이용해 마케팅 캠페인 목표와 메시지에 맞는 내용을 자동 생성하는 서비스도 제공합니다. NVIDIA와 Shutterstock의 협력 NVIDIA와 셔터스톡은 혁신적인 3D 장면 배경 제작을 위해 협력을 확장하고 있습니다. 이러한 협력은 셔터스톡의 이미지와 동영상 라이브러리를 더욱 효율적이고 창의적으로 활용하고자 하는 목표를 가지고 있습니다. 특히 이번 협력에서 중점을 둔 기술은 '생성형 AI'입니다. 이 기술을 활용하면 디자이너나 개발자들은 복잡한 3D 배경을 상대적으로 간단하게 편집하거나 새롭게 생성할 수 있게 됩니다. 생성형 AI의 활용은 다양한 산업 분야에서 큰 잠재력을 보이고 있습니다. 특히 이번 협력을 통해 제품 광고나 프로모션 비디오 작업 시, 더욱 다양한 시각적 효과를 빠르고 효과적으로 구현할 수 있게 되었습니다. 고품질의 3D 배경을 빠른 시간 내에 제작할 수 있기 때문에, 기업들은 마케팅 활동에서 큰 경쟁 우위를 차지할 수 있습니다. 이번 협력은 미디어, 엔터테인먼트, 마케팅 등 다양한 분야에서의 적용을 가능하게 하며, 셔터스톡과 NVIDIA 양사가 기술의 선두주자로서의 위치를 더욱 강화하는 계기가 될 것으로 예상됩니다. 이러한 혁신은 또한 개발자와 디자이너에게 새로운 창의적 가능성을 제시하면서, 이들이 보다 높은 효율성과 창의성을 달성할 수 있게 도와줄 것으로 기대됩니다. 요약하자면, NVIDIA와 셔터스톡의 이번 협력은 생성형 AI 기술을 활용하여 3D 배경 제작에 혁신을 가져올 것으로 보입니다. 이는 특히 광고와 마케팅 분야에서 큰 영향을 미칠 것이며, 다양한 산업 분야에서도 적용될 잠재력이 높습니다. 이를 통해 기업들은 더 빠르고 효율적인 방식으로 고품질의 컨텐츠를 제작할 수 있게 될 것입니다. 고려 사항 Canva와 NVIDIA와 셔터스톡의 협력 사례를 통해 보았듯이 생성형 AI는 마케팅 자료 제작에 혁신적인 변화를 가져오고 있습니다. 이러한 기술이 적용되면, 마케터나 디자이너는 더 적은 노력으로 더 높은 퀄리티의 마케팅 자료를 만들 수 있게 됩니다. 생성형 AI가 앞으로 더욱 발전하며 이러한 혁신이 계속될 것입니다. 물론 생성형 AI는 마케팅 자료 제작에 새로운 가능성을 열어주지만 아직은 몇 가지 고려해야 할 것들이 남아 있습니다. 생성형 AI는 아직 개발 초기 단계에 있기 때문에 완벽하지 않을 수 있습니다. 이를 고려하여 생성형 AI가 생성한 마케팅 자료를 검토하고, 필요에 따라 수정해야 합니다. 다음으로 생성형 AI는 편향성을 가질 수 있습니다. 따라서 생성형 AI가 생성한 마케팅 자료를 사용하기 전에 편향성을 확인하고, 이를 해결해야 합니다. 이외에도 저작권 관련 잠재적인 이슈도 풀어야 할 숙제입니다. #NVIDIA #CANVA #셔터스톡 #생성형AI #Generative_AI #마케팅

기업에서 새로운 제품이나 서비스를 출시하면 이를 알리기 위해 다양한 마케팅 활동을 합니다. 이 중 한 채널이 디지털입니다. 디지털 마케팅 자료(Asset)를 만들어 홈 페이지부터 각종 소셜 미디어와 유튜브 같은 동영상 채널에 올려 고객에게 새로운 제품의 가치를 알리고 상세 정보를 전달하기 위해 노력합니다. 보통 디지털 마케팅 자료는 외부 전문 기업에 외주를 맡기는 방식으로 작업을 합니다. 2D 이미지 정도는 내부에서 직접 만들 수 있지만 3D, 가상 현실, 증강 현실 등으로 난이도가 높아지면 외부 전문가의 손을 빌려야 합니다. 디지털 기술 발전에 따라 마케팅 자료를 만드는 방식도 레벨업이 되어 가고 있는 데요, 이런 분위기 속에서 기업 마케팅 담당자와 외주 전문가 간의 협업의 중요성이 커지고 있습니다. 이런 현장의 요구를 수용하는 기술로 마케팅 담당자와 컨텐츠 제작 전문가가 주목하는 것이 있습니다. 바로 NVIDIA Omniverse입니다. 기존의 디지털 마케팅은 주로 2D 이미지와 동영상을 중심으로 이루어졌습니다. 이러한 콘텐츠는 소비자의 눈길을 사로잡기는 충분했지만 소비자의 잠재 욕구를 충족하기에는 다소 부족했습니다. NVIDIA Omniverse는 3D, 가상 현실, 증강 현실 등 다양한 디지털 컨텐츠를 협업 기반으로 생성할 수 있는 플랫폼입니다. 이를 통해 기업은 소비자의 니즈에 맞는 고품질의 맞춤형 콘텐츠를 제작할 수 있습니다. 가령 디자이너와 마케터는 NVIDIA Omniverse를 사용하여 다음과 같은 고품질의 맞춤형 콘텐츠를 제작할 수 있습니다. 3D 모델링 및 애니메이션 가상 현실 및 증강 현실 경험 인터랙티브 콘텐츠 이러한 콘텐츠는 소비자의 눈길을 사로잡고, 보다 몰입감 있는 경험을 제공할 수 있습니다. 또한, 소비자의 니즈를 충족시키고, 마케팅 효과를 높일 수 있습니다. 보다 효율적인 협업 환경 구축 3D, 가상 현실, 증강 현실 같은 첨단 기술을 활용하는 디지털 마케팅은 다양한 분야의 전문가들이 협력하여 이루어집니다. 디자이너, 마케터, 개발자, 엔지니어 등 각 분야의 전문가들이 원활하게 협업하기 위해서는 효과적인 협업 환경이 필요합니다. NVIDIA Omniverse는 다양한 분야의 전문가들이 협업할 수 있는 환경을 제공합니다. 이를 통해 기업은 마케팅 캠페인을 보다 효율적으로 계획하고 실행할 수 있습니다. 예를 들어 광고 대행사인 WPP는 NVIDIA Omniverse를 사용하여 엔터테인먼트, 스포츠, 자동차, 패션 등 다양한 산업 분야의 고객을 위한 마케팅 캠페인을 기획하고 실행하고 있습니다. 관련해 요즘 WPP와 DENZA 간의 협업이 화제를 모으고 있습니다. 자동차 제조업체인 DENZA는 WPP와 협력하여 NVIDIA Omniverse 클라우드를 기반으로 고급 자동차 컨피규레이터를 구축했습니다. 이 컨피규레이터를 통해 소비자는 원하는 자동차의 색상, 옵션, 내부 디자인 등을 직접 선택하고 시뮬레이션을 통해 확인할 수 있습니다. 이는 소비자의 구매 결정에 도움이 될 뿐만 아니라, 자동차 제조업체에게는 소비자의 선호도를 파악하는 데에도 도움이 됩니다. 더 자세한 내용은 다음 영상을 참조 바랍니다. DENZA는 WPP의 사례에서 알 수 있듯이 디자이너, 마케터, 엔지니어 등 이해관계자는 NVIDIA Omniverse를 사용하여 다음과 같은 방식으로 보다 효율적으로 협업할 수 있습니다. 공동 작업 정보 공유 피드백 제공 이러한 협업은 마케팅 캠페인의 성공률을 높이는 데 도움이 될 수 있습니다. 정리하자면 NVIDIA Omniverse 기반 협업은 디지털 마케팅의 새로운 가능성을 열어주고 있습니다. 고품질의 맞춤형 컨텐츠, 실시간 3D 경험, 보다 효율적인 협업 환경 등을 통해 기업은 소비자의 마음을 사로잡고, 마케팅 효과를 높일 수 있을 것으로 기대됩니다. #NVIDIA #NVIDIA_Omniverse #디지털_마케팅

마누비르 다스(Manuvir Das) NVIDIA 엔터프라이즈 컴퓨팅 담당 부사장이 MIT 테크 리뷰 편집장 매트 호난(Mat Honan)과 함께 MIT 퓨처 컴퓨트에서 기업의 미래와 생성형 AI 및 가속 컴퓨팅이 이미 모든 산업을 어떻게 변화시키고 있는지에 대해 논의한 유튜브 인터뷰 영상의 주요 내용을 정리해 보았습니다. 생성형 AI가 엔터프라이즈 컴퓨팅에 끼칠 영향에 대한 거시적인 방향을 알 수 있는 유익한 인터뷰입니다. 전체 내용은 다음 영상을 참조 바랍니다. 보편적 서비스 or 산업 특화 인터뷰에서 초대형 언어 모델(LLM)에 대한 두 가지 접근법에 대해 이야기합니다. 첫 번째는 전 세계 사용자를 대상으로 하는 OpenAI의 접근법으로 방대한 컴퓨팅 파워와 많은 자원을 필요로 합니다. 두 번째는 산업에 특화된 방식으로 접근하는 것입니다. 요즘 이야기가 많이 나오고 있는 산업 특화 LLM을 떠올리면 됩니다. 이 모델들은 기업이 필요로 하는 특별한 기술과 지식을 배우고 이해하며, 이를 통해 기업이 어떤 것을 해야하고 또한 어떤 것을 하지 말아야하는지를 제어하는 데 중점을 두고 있습니다. NVIDIA는 OpenAI와 같은 '일률적인' 접근법보다 기업에 특화된 접근법에 더 집중하고 있습니다. NVIDIA는 각 기업이 자체적인 데이터를 이용해 모델을 학습시켜야 하며, 그 모델은 시간이 지남에 따라 발전해야 한다는 점을 강조합니다. 그 이유는 각 기업이 가진 정보가 독특하고 지속적으로 바뀌기 때문입니다.또한, 대부분의 기업은 사전 훈련된 모델(LLM 또는 Small LLM)을 기반으로 자신의 기업에 맞는 데이터와 새로운 기술을 추가로 학습시키는 방식을 활용하며, 이는 비용과 시간을 절약하는 효과가 있습니다. 이런 접근법은 '프롬프트 튜닝'이라는 기술을 활용하여 조직의 필요 맞게 최저고하할 수 있습니다. 환영 문제 해결책 LLM 기반 생성형 AI 모델은 모델 학습 또는 사전에 학습된 모델의 미세 조정을 통해 서비스에 적용됩니다. 이처럼 대내 또는 대외 서비스에 생성형 AI 기능을 접목할 때 기업은 모델이 근거 없이 정보를 생성하는 '환영'과 같은 부적절한 행동을 하는 것을 우려합니다. 이에 대한 해결책으로 NVIDIA가 내놓은 것이 ‘가드레일’입니다. 이 기능은 연구자들과 공급자들이 개방적인 방식으로 자신들의 부분을 구축할 수 있게 하여, 모델의 응답이 적절한지 판단하고 사용자로부터 부적절한 출력을 보호합니다. 에너지 효율 AI 인프라는 강력한 성능을 내는 만큼 전력 소비도 많이 합니다. NVIDIA 같은 기업에게 에너지 효율을 높이는 것은 성능을 개선하는 것만큼 중요한 일입니다. NVIDIA는 자사의 하드웨어를 에너지 효율적이고 환경 친화적으로 유지하려는 노력을 하며, 그러한 목표를 달성하기 위해 GPU 하드웨어와 소프트웨어를 통한 '가속 컴퓨팅'을 제공하고 있습니다. 이는 처리 속도를 수천 배 향상시키는 기술로, 이를 통해 운영 비용을 크게 줄이고 에너지 소비를 감소시키는 효과를 가져옵니다. '가속 컴퓨팅’을 제대로 이해하려면 일반적인 서버와의 차이를 분명히 알아야 합니다. 비록 NVIDIA의 GPU가 포함된 가속 컴퓨팅 서버가 더 많은 전력을 소비하고 비용이 더 많이 든다고 할지라도, 가속 컴퓨팅은 작업을 수행하는 데 훨씬 더 효율적입니다. 전체 컴퓨팅이 가속 컴퓨팅으로 이동해야 하는 이유는 CPU를 사용하는 기존 데이터센터의 확장이 제한적이기 때문입니다. 그 대안으로 가속 컴퓨팅은 GPU를 활용해 더 많은 성능을 낼 수 있습니다. 미래는? 마지막으로 인터뷰 말미에는 LLM 모델이 인간의 의도를 더 잘 이해하게 될 미래에 대해 이야기합니다. 여기서 프롬프트 엔지니어링의 중요성을 강조하며, GPU의 성능 향상도 지속적으로 이루어질 것이라 전망합니다. 또한, 지속 가능성 측면에서 새로운 기술의 탐색도 이어질 것이라는 의견을 밝힙니다. #유클릭 #LLM #초거대_모델 #가속_컴퓨팅 #GPU