top of page

검색 결과

"" 검색 결과: 157개의 아이템

  • CES 2024의 슈퍼스타! NVIDIA는 어떤 소식을 전할까?

    매년 초 전 세계 디지털 관련 뉴스의 헤드라인은 ‘CES’가 장식합니다. 2024년 1월 8일 ~ 12일까지 미국 라스베이거스 컨벤션 센터에서 CES 2024가 열리는 데요. 이번 행사에서도 NVIDIA는 주역 중 하나로 스포트라이트를 받을 예정입니다. 관련해 이번 행사에서 NVIDIA가 어떤 메시지를 전할 지 간략히 알아보겠습니다. 더 자세한 내용은 CES 관련 NVIDIA 안내 사이트를 참조 바랍니다. CES Digital Hollywood 세션에서는 "Reshaping Retail – AI Creating Opportunity", "Robots at Work", "Cracking the Smart Car" 등 14개의 주제로 AI와 NVIDIA 기술이 중점적으로 다루어질 예정입니다. 이 외에도 NVIDIA는 85개 이상의 파트너사와 함께 AI, 게임, NVIDIA Studio 분야를 포함한 다양한 분야에서 혁신을 선보일 예정입니다. 주요 파트너로는 Acer, ASUS, Dell, GIGABYTE, HP, Lenovo, MSI, Razer, Samsung, Zotac 등이 있습니다. 자동차 분야에서는 Mercedes-Benz, Hyundai, Kia, Polestar, Luminar, Zoox와의 파트너십을, 로봇공학 분야에서는 Dreame Innovation Technology, DriveU, Ecotron Corp., e-con Systems, Enchanted Tools, GluxKind, Hesai Technology, Leopard Imaging, Ninebot, Orbbec, QT Company, Unitree 등과의 협력을 선보일 것입니다. 또한, Accenture, Adobe, Altair, Ansys, AWS, Capgemini, Dassault Systems, Deloitte, Google, Meta, Microsoft, Siemens, Wipro 등 글로벌 기업들과의 협력도 주목받을 것으로 기대됩니다. CES 2024에서 NVIDIA는 AI 기술의 선두 주자로서의 위치를 다시 한번 강조하며 새로운 혁신을 선보일 것으로 기대됩니다. #CES_2024 #NVIDIA #AI #CES_생성형AI

  • 생성형 AI와 데이터 레이크하우스 전략의 융합! 2024년에 트렌드로 자리잡을까?

    기업들은 보유하고 있는 대규모 데이터를 활용하여 대규모 언어 모델(LLM)을 훈련하고 파인튜닝하는 데 점점 더 관심을 기울이고 있습니다. 이러한 모델은 비즈니스의 다양한 요구에 맞게 맞춤화되어, 고객 서비스, 제품 개발, 시장 분석 등 다양한 분야에서 활용될 수 있습니다. 그러나 데이터의 질이 열악하거나 편향된 정보를 포함하고 있다면, 이는 편견이나 오해, 심지어는 유해한 결과로 이어질 수 있습니다. 이는 AI의 결정과 예측의 정확도에 영향을 끼쳐  비즈니스에 부정적인 영향을 미칠 수 있습니다. 데이터 레이크하우스를 중심으로 한 데이터 전략 조정?? 이러한 문제를 해결하려면 생성형 AI 같이 우선순위 높은 전략을 중심에 놓고 데이터 플랫폼 전략을 구상해야 합니다. 관련해 중요한 역할을 할 것으로 기대를 모으고 있는 것이 있습니다. 바로 데이터 레이크하우스입니다. 데이터 레이크하우스는 대량의 구조화되지 않은 데이터를 효율적으로 저장하고 관리할 수 있는 시스템으로, 데이터의 질과 정확성을 보장하는 데 중요한 역할을 할 수 있습니다. 실제로 데이터 플랫폼 업계는 2023년 생성형 AI가 급부상하는 것에 발맞춰 다양한 접근 방안을 제시하고 있습니다. 눈에 띄는 기업으로 데이터브릭스와 델을 꼽을 수 있습니다. 시장 동향: Databricks의 Lakehouse AI, Dell과 Starburst의 파트너십 데이터브릭스는 Lakehouse AI를 통해 데이터 중심의 생성형 AI 애플리케이션 구축에 주력하고 있으며, 이는 대규모 데이터 관리 및 분석에서 더 효율적인 AI 모델링과 혁신을 가능하게 합니다. 데이터브릭스의 Lakehouse AI는 데이터 레이크하우스 구조를 활용하여 데이터 분석과 AI 모델 훈련을 통합하고, 데이터 처리 및 분석을 더 빠르고 정확하게 수행할 수 있게 지원합니다. 한편, 델은 데이터 쿼리 플랫폼 업체인 Starburst와의 파트너십을 통해 개방형 레이크하우스 플랫폼을 기반으로 한 생성형 AI 전략을 가속화하고 있습니다. 이 파트너십을 통해 델은 Starburst의 분석 소프트웨어와 델의 PowerEdge 컴퓨팅 플랫폼, 그리고 델의 선도적인 스토리지 솔루션을 통합하여, 고객들이 다양한 멀티클라우드 환경에서 분산된 데이터에 더 쉽고 안전하게 접근할 수 있도록 지원할 예정입니다. 이러한 통합된 솔루션은 AI 및 분석 워크플로우와 배포에 필요한 데이터를 빠르고 쉽게 활용할 수 있게 해줄 것으로 보입니다. 데이터브릭스와 델의 이러한 전략은 기업들이 보유한 데이터를 더욱 효과적으로 활용하여 AI 모델을 개발하고 최적화하는 데 도움이 될 것으로 예상됩니다. 이들의 접근 방식은 데이터 기반의 AI 혁신을 가속화하고, 보다 효율적인 데이터 처리와 분석을 가능하게 함으로써 새로운 AI 기술과 애플리케이션 개발을 촉진할 것 입니다. 이상으로 2024년 관심을 모을 것으로 보이는 생성형 AI와 데이터 레이크하우스 전략의 융합 움직임을 간단히 정리해 보았습니다. #Dell #Databricks #LakehouseAI #생성형AI

  • NVIDIA BioNeMo를 활용한 AI 기반 신약 개발 파이프라인 구축

    NVIDIA BioNeMo는 AI 기술을 활용하여 현대 신약 개발의 패러다임을 혁신하고 있습니다. NVIDIA의 다양한 기술과 서비스 그리고 플랫폼은 대규모 언어 모델과 생성형 AI에 즉각적으로 접근할 수 있는 기능을 제공하여, 신약 발견 및 개발 프로세스를 대폭 가속화합니다. BioNeMo는 수십억 개의 파라미터를 포함하는 사전 훈련된 모델들을 제공함으로써, 복잡한 신약 개발 과정을 간소화하고 효율성을 높입니다. 이러한 기능은 연구자들이 다양한 실험 조건과 가능성을 빠르게 탐색하고, 더 정확한 예측과 분석을 통해 신약 후보 물질을 더욱 빠르게 확인할 수 있게 합니다. NVIDIA BioNeMo의 고급 AI 기능은 신약 개발의 초기 단계부터 최종 테스트까지 전 과정에 걸쳐 효과적인 데이터 분석과 모델링을 가능하게 하며, 이는 전통적인 실험 방식보다 시간과 비용을 대폭 절감할 수 있는 장점을 제공합니다. 이와 같은 최신 신약 개발 동향은 기존의 접근 방식을 넘어서는 새로운 기회를 창출하며, 더 빠르고, 더 정확하며, 더 효율적인 신약 개발을 가능하게 합니다. NVIDIA BioNeMo를 활용한 이러한 혁신적인 접근 방식은 미래의 신약 개발에 있어 중요한 이정표가 될 것으로 기대됩니다. NVIDIA BioNeMo가 특별한 이유 NVIDIA BioNeMo는 생성 화학 모델인 Mega MulBART와 MoFlow, 단백질 언어 모델인 ESM1 및 ESM2, 포즈 예측을 위한 Diff Dock 등 다양한 모델을 지원합니다. 이러한 모델들은 사용자들이 광범위한 연구와 개발 목적에 활용할 수 있도록 다양한 옵션을 제공합니다. NVIDIA BioNeMo의 또 다른 주요 특징은 효율적인 모델 개발입니다. 자동 데이터 로딩, 전처리 기능 및 모델 구성과 관련된 스크립트를 통해 사용자들은 사전 훈련 및 미세 조정 파이프라인을 빠르고 효율적으로 구축할 수 있습니다. 이는 신약 개발과 같은 복잡한 과제를 수행하는 연구자들에게 시간 절약과 높은 정확성을 제공합니다. NVIDIA BioNeMo는 사용자 친화적인 API를 제공합니다. 이 광범위한 API는 다양한 맞춤형 애플리케이션에 쉽게 통합될 수 있어, 사용자들이 자신의 특정 요구 사항에 맞춰 솔루션을 구성할 수 있게 해줍니다. 이러한 특징들은 NVIDIA BioNeMo를 AI 기반 신약 개발 분야에서 강력하고 유연한 도구로 만듭니다. 신약 개발에 적용 제약 회사의 연구소는 NVIDIA Base Command를 구심점으로 온프레미스 리소스와 NVIDIA DGX 클라우드를 사용하여 ESM1  등 연구에 필요한 모델의 다중 노드 훈련 작업을 효율적으로 구성하고 실행할 수 있습니다. 이를 통해 연구자들은 복잡한 모델 훈련을 더 빠르고 효과적으로 수행할 수 있으며, 강력한 GPU 컴퓨팅 능력을 활용하여 더 높은 성능의 훈련 결과를 얻을 수 있습니다. 또한, NGC CLI를 활용하여 작업을 로컬에서 실행하면서도 자원 활용 상태를 중앙에서 모니터링할 수 있습니다. 이 기능은 작업의 진행 상황을 실시간으로 파악하고 필요에 따라 조정할 수 있게 해주어 효율성을 극대화합니다. 온프레미스 리소스와 NVIDIA DGX 클라우드는 실험 과정에서 필요한 높은 처리 능력과 속도를 제공합니다. 이러한 고성능 환경은 특히 대규모 데이터를 처리하거나 복잡한 계산이 필요한 신약 개발과 같은 분야에서 큰 이점을 제공합니다. 신약 개발 파이프라인의 혁신 BioNeMo를 사용하면 신약 개발에 필요한 다양한 데이터를 효과적으로 처리하고 분석할 수 있습니다. 이 데이터 기반 접근 방식은 신약 개발 과정에서 중요한 정보를 제공하며, 연구 과정의 정확성과 효율성을 높입니다. 또한, BioNeMo는 복잡한 실험을 신속하게 구성하고 실행할 수 있는 기능을 제공하여, 신약 발견 과정을 가속화합니다. 이를 통해 연구 개발 시간을 단축하고, 더 빠르게 효과적인 결과를 도출할 수 있습니다. 중앙 집중식 사용자 인터페이스(UI)를 통해서는 실험의 성능과 효율성을 쉽게 평가할 수 있습니다. 이는 연구자들이 실험 결과를 신속하게 검토하고 필요한 개선점을 파악할 수 있게 하여, 전반적인 연구 개발 프로세스의 품질을 향상시키는 데 기여합니다. 정리하자면 NVIDIA BioNeMo는 신약 개발 분야에 있어 중대한 전환점을 마련하고 있습니다. AI 기반의 이러한 접근 방식은 실험실 연구와 컴퓨터 과학의 융합을 통해 새로운 치료법의 발견을 가속화하고, 궁극적으로 인류의 삶을 개선하는 데 크게 기여할 것으로 기대됩니다. BioNeMo를 통해 연구자와 개발자는 더 빠르고 효율적인 신약 개발 파이프라인을 구축할 수 있으며, 이는 의료 분야의 미래를 밝게 만들 것입니다. BioNeMo 관련 데모가 궁금하다면 다음 영상을 참조 바랍니다. #NVIDIA #BioNeMo #유클릭 #NVIDIA_DGX_Cloud #NVIDIA_Base_Command #신약개발_생성형AI #MoFlow #Mega_MulBART #ESM1

  • 데이터센터 설계 및 구축과 최신 트렌드: 디지털 트윈의 활용

    전 세계적으로 데이터센터 구축 붐이 일고 있습니다. 사회, 경제, 문화 등 모든 분야에서 디지털 전환(DX)이 동시다발적으로 이루어지면서 일어나는 현상입니다. 한국도 예외는 아닙니다. 각 지자체는 차세대 데이터센터 구축 관련 투자 유치에 열을 올리고 있습니다. 이런 분위기 속에서 데이터센터 설계와 구축이 새로운 전문 영역으로 부상하고 있습니다. 예전에는 IBM 등 몇몇 기업만 손을 대던 영역에 이제는 더 많은 플레이어가 들어오고 있는 것입니다. 새로운 카테고리로 자리 잡고 있는 데이터센터 설계와 구축 분야에 새로 진입한 신생 조직은 어떻게 경쟁력을 이어갈 수 있을까요? 그 답은 아마 디지털 트윈(Digital Twin)에 있지 않을까요? 관련해 실제 디지털 트윈 기술을 활용한 사례를 통해 데이터센터 설계와 구축의 미래 방향을 살펴보겠습니다. 전통적인 데이터센터 설계 및 구축 방식 전통적인 데이터센터 설계 및 구축은 주로 물리적 공간 및 공조 계획, 하드웨어 구성 및 배치 그리고 네트워크 인프라 설정에 중점을 둡니다. 이 과정은 시스템 요구 사항의 분석, 에너지 효율성 고려, 물리적 보안 및 재해 복구 계획 등을 통해 진행됩니다. 전통적 방식은 실제 구축 전까지 데이터센터 환경과 성능, 보안, 안정성 등을 정확히 예측하기 어려운 경우가 많습니다. 최신 데이터센터 구축 트렌드: 첨단 기술의 활용 최근의 데이터센터 구축 트렌드는 자동화, 지능형 모니터링 시스템, 그리고 에너지 효율성을 강조합니다. 클라우드 컴퓨팅, 빅데이터, AI 같은 첨단 기술을 적극적으로 활용하여, 데이터센터의 운영 효율성을 극대화하고자 합니다. 이 모든 요소 기술을 하나의 큰 주제로 묶으면 바로 '디지털 트윈(Digital Twin)'입니다. 디지털 트윈 기술은 데이터센터 설계 및 구축의 새로운 패러다임을 제시합니다. 이는 물리적인 구축이 시작되기 전에, 디지털 환경에서 데이터센터의 전체적인 모델을 시뮬레이션하고 최적화하는 접근입니다. 사례 연구: 이스라엘의 AI 슈퍼컴퓨터, Israel-1 이스라엘의 가장 강력한 AI 슈퍼컴퓨터인 'Israel-1'의 물리적 구축은 시작되었지만, 그 디지털 트윈은 이미 완성된 상태입니다. NVIDIA Air와 Omniverse를 사용하여 데이터센터가 논리적, 물리적으로 어떻게 동작할지에 대한 전체적인 시뮬레이션을 만들었습니다. 디지털 트윈에서 얻은 통찰력을 통해 Israel-1의 구축 과정은 병렬 작업을 활용하여 수개월의 시간을 절약할 수 있었습니다. NVIDIA Air를 통해 설계된 아키텍처는 데이터 이동을 최적화하기 위해 사전에 검증되고 자동화되었습니다. 설계는 NVIDIA Omniverse로 이전되어 랙 레이아웃, 케이블링, 전력 소비, 열 분산을 위한 CFD 모델링 등 시설 데이터와 결합되어 물리적으로 정확한 모델을 제공합니다. 이 모델은 실제 구축 과정에서 따를 수 있는 정확한 지침을 제공합니다. 구축이 완료되면 NVIDIA Air에서 개발된 자동화는 실제 장비에 적용됩니다. 버튼 하나로 'Israel-1'은 기록적인 시간 안에 가동될 것입니다. 참고로 NVIDIA AIr는 실제 데이터센터와 동일한 배포본을 생성해 에뮬레이트 할 수 있도록 지원하는 디지털 트윈 도구입니다. 이러한 접근 방식은 시간 가치를 높이고, 미래의 생성형 AI 공장을 위한 청사진을 제공합니다. 디지털 트윈을 통한 설계 및 시뮬레이션은 차세대 데이터센터 구축 트렌드로 자리 잡을 것으로 보입니다. 정리하자면 디지털 트윈은 데이터센터 설계 및 구축 분야에서 혁신적인 접근 방식을 제시하며, 이는 실제 구축 과정에서의 시간 및 비용 절감, 효율성 향상, 그리고 미래 지향적인 기술 구현에 큰 기여를 할 것입니다. NVIDIA Omniverse와 NVIDIA AIr를 활용한 디지털 트윈 기반 차세대 데이터센터 설계와 구현이 궁금하다면 다음 영상이 도움이 될 것입니다. #디지털트윈 #데이터센터 #NVIDIA_Air #NVIDIA_Omniverse #CFD

  • 생성형 AI와 신약 개발의 새로운 지평

    NVIDIA 전문가들이 17개 산업에서 AI 기술이 2024년 어떤 혁신을 주도할 지 전망한 글이 올라왔습니다. 이 중 헬스케어 부문의 전망은 크게 두 가지 입니다. 하나는 외고 의사를 음성 등 다양한 소통수단을 동원해 돕는 AI 수실 어시스턴트이고 다른 하나는 신약 개발에 큰 기여를 할 생성형 AI(Generative AI)입니다. 이 중 신약 개발 관련 사례를 통해 어떤 변화가 일어날 지 가늠해 보겠습니다. 새로운 전환점: Generative AI 1970년대 분자생물학이 생명과학에 가져온 혁명적 변화와 유사하게, 오늘날 생성형 AI는 신약 개발 분야에 새로운 전환점을 제시하고 있습니다. Genentech 같은 연구소에서는 이 기술을 활용하여 신약 발견 및 개발에 적극적으로 나서고 있으며, 실험실과 컴퓨터 간의 밀접한 연결, 즉 'Lab in the Loop' 방식으로 혁신을 이루고 있습니다. 데이터와 AI의 결합 신약 개발에서 생성형 AI의 핵심은 데이터에 기반을 둡니다. 실험실에서 얻은 데이터로 AI 알고리즘을 학습시켜 아직 실험되지 않은 새로운 분자를 만들고, 이 분자들을 다시 실험실에서 테스트하여 AI를 개선하는 과정을 반복합니다. 이를 통해 환자에게 필요한 특성을 갖춘 분자를 개발할 수 있습니다. Lab in the Loop의 개념과 Genentech 연구소가 AI/ML을 어떻게 바라보고 신약 개발의 새로운 길을 개척하고 있는 지에 대한 자세한 정보는 연구소 블로그 글을 참조 바랍니다. 다학제적 접근의 중요성 생명과학, 컴퓨터 과학, 유전학, 머신러닝 등 여러 분야의 융합이 필요합니다. 이는 이론적 발전과 함께 실험실 연구와 컴퓨터 사이언스 간의 상호 작용을 강화하고, 대규모 데이터에서 유의미한 정보를 신속하게 추출하는 데 중요한 역할을 합니다. 거대한 도전, 무한한 가능성 생성형 AI를 통한 신약 개발은 매우 도전적이지만 잠재력은 엄청납니다. Genentech와 NVIDIA와 같은 기업들은 불가능을 뛰어넘어 환자와 대중에게 새로운 치료법을 제공하기 위해 노력하고 있습니다. 생물학과 컴퓨팅의 접점 생물학과 컴퓨팅, 유전학과 머신러닝이 만나는 이 협업은 질병에 대한 우리의 이해를 근본적으로 변화시킬 수 있습니다. 심지어 약간의 개선만으로도 인류의 건강과 생명의 질을 획기적으로 향상시킬 수 있습니다. 정리하자면 생성형 AI의 활용은 신약 개발 분야에서 전례 없는 발전을 가져올 것입니다. 이 혁신은 실험실 연구와 컴퓨터 과학의 결합을 통해 새로운 치료법을 빠르게 발견하고, 인류의 삶에 긍정적인 변화를 가져올 것입니다. #NVIDIA #생성형AI #Genentech #신약개발_생성형AI

  • AI 개발자를 위한 선물 보따리 - NGC 카탈로그

    요즘 NGC가 그 가치를 재조명받고 있습니다. 그 이유는 사전 훈련된 모델을 검증된 리포지토리에서 가져와 파인튜닝을 하는 것이 새로운 개발 방식이자 문화로 자리를 잡고 있기 때문입니다. 그렇다면 NVIDIA의 NGC 카탈로그와 허깅페이스 같은 리포지토리는 어떤 이유로 인기를 끌게 되었을까요? 대략 다섯 가지로 인기 비결을 정리할 수 있습니다. 근성과 편리함: 이러한 리포지토리는 다양한 사전 훈련된 모델을 쉽게 사용할 수 있게 해주어, 개발자들이 복잡한 모델을 처음부터 훈련시키지 않고도 AI 기능을 구현할 수 있게 합니다. 다양한 응용 분야: NGC 카탈로그, 허깅페이스 등은 이미지 인식, 자연어 처리, 음성 인식 등 다양한 분야의 모델을 제공합니다. 이는 개발자들이 여러 분야에 걸쳐 AI 솔루션을 개발할 수 있게 해줍니다. 성능과 최적화: 이러한 모델들은 대규모 데이터셋으로 훈련되어 있으며, 최적화가 잘 되어 있어 뛰어난 성능을 제공합니다. 커뮤니티와 지원: 많은 개발자들과 연구자들이 이러한 리포지토리를 사용함으로써, 사용자들은 활발한 커뮤니티 지원과 지속적인 업데이트를 기대할 수 있습니다. 시간과 비용 절감: 사전 훈련된 모델을 사용함으로써 개발자들은 훈련에 소요되는 시간과 비용을 크게 줄일 수 있습니다. NGC 카탈로그 둘러 보기 이제 NGC 카탈로그를 좀 둘러보겠습니다. NGC는 사전 훈련된 모델, 컨테이너, 헬름 차트, 주피터 노트북과 같은 다양한 자원을 제공하여 개발자들이 해결책까지의 시간을 단축할 수 있도록 돕기 위해 NVIDIA가 만든 리소스 허브입니다. NGC 카탈로그를 사용하여 개발자들은 자연어 처리, 객체 탐지, 추천 시스템 등 다양한 용도의 소프트웨어를 찾을 수 있습니다. NGC 카탈로그를 자세히 살펴보겠습니다. 자연어 처리 또는 NLP 모델을 찾고 있다고 가정해 봅시다. 사용 사례 태그를 필터링하고 모델 카드를 읽음으로써 필요에 맞는 모델을 탐색할 수 있습니다. 각 모델 카드는 모델 아키텍처, 훈련 세부 정보, 사용된 데이터 세트, 모델 제한 사항 및 이러한 모델들의 훈련 및 추론 성능 지표를 포함한 모든 관련 정보를 제공합니다. 또한, NGC 카탈로그는 컨테이너를 제공합니다. 이 컨테이너들은 필요한 모든 라이브러리와 종속성을 포함하고 있어, 사전 준비 부담에서 벗어나 개발에 집중할 수 있습니다. 개발자는 필터링 옵션을 통해 탐색 범위를 좁혀 가며 빠르게 원하는 것을 찾을 수 있습니다. 보안 걱정도 없습니다. NGC 카탈로그의 컨테이너들은 매월 잠재적인 문제에 대해 검사되며, 보안 취약점이 발견되면 보고됩니다. NGC 카탈로그는 컬렉션도 제공하는데, 이는 하나의 쉽게 사용할 수 있는 패키지 안에서 엄선된 소프트웨어 목록입니다. 호환되는 소프트웨어를 일일이 찾지 않아도 되어 작업 시간을 줄이는 데 도움이 됩니다. 예를 들어 NLP용 컬렉션을 필터링하고 하나를 선택해 봅시다. 각 컬렉션 페이지에는 개요 섹션과 포함된 AI 소프트웨어 목록이 제공되며, 이에는 모델, 컨테이너 및 헬름 차트가 포함됩니다. NGC를 몰랐다면? NVIDIA 개발자 프로그램에 가입하여 NGC 카탈로그를 사용해 AI 솔루션을 더 빠르게 구축해보세요. #NVIDIA #NGC #NLP #허깅페이스

  • Chat GPT나 Bard 부럽지 않은 생성형 AI + 검색’을 조합한 챗봇 구현하기 - NVIDIA의 RAG 챗봇 구현을 위한 참조 - Generative AI 워크플로우

    오픈AI의 Chat GPT나 구글 Bard 같은 서비스를 이용하는 이들이 선호하는 조합은? 아마 생성 모델에 검색을 더하는 조합으로 답을 받는 것입니다. 거대 언어 모델(LLM)만 이용할 때보다 답변에 대한 신뢰감(?)이 더 들기 때문이 아닐까요. 관련해 사전 훈련을 마친 LLM 또는 Small LLM을 보유한 데이터를 활용해 파인튜닝하여 고객 또는 조직원을 위한 생성형 AI 기반 서비스를 제공하고자 할 때 RAG 적용 시 참조할 만한 NVIDIA의 생성형 AI 워크플로우를 소개하고자 합니다. 참고로 NVIDIA는 주요 산업/도메인에서 LLM 기반 서비스 구현을 간소화할 수 있는 NVIDIA AI 워크플로우를 제공합니다. 이 참조 워크플로우의 하나로 NVIDIA는 생성형 AI 워크플로우도 제공합니다. RAG란? RAG(Retrieval Augmented Generation)는 자연어 처리(NLP)와 머신 러닝(ML) 분야에서 사용되는 기술로, 특정 문제에 대한 답 생성을 위해 정보 검색과 생성 모델을 결합한 방법입니다. 이 방식은 검색과 생성 단계로 구성됩니다. 먼저 검색 단계에서 RAG는 주어진 질문이나 프롬프트에 대한 관련 정보를 찾기 위해 대규모의 데이터베이스나 문서 집합에서 정보를 검색합니다. 이 검색 과정은 관련성이 높은 정보를 찾아내어 문제 해결에 사용될 수 있는 문맥을 제공합니다. 검색된 정보를 바탕으로, RAG는 GPT-3 같은 텍스트 생성 모델을 사용하여 구체적인 답변이나 내용을 작성합니다. 이 과정에서 모델은 검색된 정보와 함께 주어진 질문이나 명령을 고려하여 적절한 답변을 합니다. RAG의 주요 장점은 더 정확하고 상세한 답변을 제공할 수 있다는 것입니다. 검색을 통해 얻은 구체적인 정보를 활용하여 모델이 더 정확하고 신뢰성 있는 답변을 하는 것을 돕습니다. 이러한 접근 방식은 특히 지식 기반 질문 응답 시스템, 챗봇, 정보 검색 시스템 등 다양한 NLP 응용 분야에서 유용하게 활용됩니다. NVIDIA의 생성형 AI 워크플로우를 참조해 RAG를 반영한 챗봇 구현 NVIDIA의 AI 워크플로는 복잡한 AI 기술을 쉽고 효율적으로 사용할 수 있는 방법을 제공합니다. 이 워크플로는 기업이 자체적으로 AI 솔루션을 만들 때 필요한 지침을 제공합니다. 이 시스템은 Docker Compose를 사용하여 개발자 환경에서 실행되며, 클라우드나 온프레미스 환경에서 배포할 수 있습니다. 워크플로의 주요 구성 요소는 다음과 같습니다. NVIDIA NeMo 프레임워크: 이는 AI 모델을 구축, 사용자 정의 및 배포하는 데 사용되는 클라우드 기반 도구입니다. 이 프레임워크는 기존의 모델을 사용자의 필요에 맞게 조정할 수 있도록 도와줍니다. NVIDIA TensorRT-LLM 최적화: TensorRT-LLM은 모델의 추론 속도를 높이고 GPU 사용을 최적화하는 데 도움을 줍니다. 이를 통해 동일한 하드웨어에서 여러 모델을 실행할 수 있는 유연성이 제공됩니다. NVIDIA Triton 추론 서버: 이 서버는 AI 모델의 추론을 효율적으로 실행하는 데 사용됩니다. 이를 통해 빠르고 비용 효율적인 AI 추론이 가능합니다. NVIDIA의 AI 워크플로우 중 하나인 생성형 AI 워크플로우 중 RAG 챗봇 부문은 크게 두 파트로 나눌 수 있습니다. 문서 수집 및 검색: 여기서는 관련 데이터를 수집하고, 이를 AI 모델에 적합한 형태로 변환합니다. 이 데이터는 다양한 형태(예: 제품 사양, 재무 문서 등)로 나타날 수 있습니다. 사용자 쿼리 및 응답 생성: 사용자의 질문을 AI 모델이 이해할 수 있는 형태로 변환하고, 이를 바탕으로 적절한 응답을 생성합니다. 이 워크플로우는 다양한 NVIDIA AI 도구를 사용하여 챗봇을 사용자 정의하고 배포하는 방법을 보여줍니다. 또한, 워크플로우에는 대화형 챗봇 웹 애플리케이션과 API 호출을 통한 요청 처리 기능도 포함되어 있어 실제 환경에서의 테스트가 용이합니다. 정리하자면 NVIDIA의 AI 및 생성형 AI 워크플로우는 기업이 자체적인 AI 솔루션을 쉽게 만들고, 관리하며, 배포할 수 있도록 지원하는 포괄적인 도구와 가이드를 제공합니다. 소개한 참조 워크플로우 구현에 대한 더 자세한 내용은 NVIDIA의 기술 문서를 참조 바랍니다. #NVIDIA #RAG #Retrieval_Augmented_Generation #TensorRT #NVIDIA_NeMo

  • Jetpack 6 등장으로 생성형 AI 모델과 LLM을 엣지(edge)로 배포가 더욱 손쉬워진다!?

    Jetpack 6의 출시로 엣지 컴퓨팅 분야에서 생성형 AI 모델과 LLM(대규모 언어 모델)을 사용하는 것이 훨씬 쉬워질 전망입니다. 2020년에 트랜스포머와 암페어 A100 GPU가 소개된 이후, AI 모델의 크기와 지능성이 급격하게 성장했는데, 이러한 변화는 Lama, Lama 2와 같은 오픈 소스 모델의 출시로 더욱 가속화되었습니다. 그러나 이러한 거대 모델들을 데스크톱이나 엣지 장치에서 실행하는 것은 큰 도전이었습니다. 이에 따라 로컬 및 임베디드 장치에서 이러한 모델을 배포하는 것에는 상대적으로 관심을 두는 이들이 많지 않았습니다. 그러나 Jetson 플랫폼을 통해 엣지에서 이러한 모델을 배포하는 것이 앞으로는 일반적인 작업이 될 것으로 보입니다. Jetson AGX-ORIN은 최대 64GB의 통합 메모리와 2048 CUDA 코어, 275 테라옵스의 성능을 갖추고 있어, AI 모델을 엣지에서 효과적으로 실행할 수 있는 완벽한 플랫폼을 제공합니다. 엣지 컴퓨팅의 주요 이점은 지연 시간, 대역폭, 개인 정보 보호, 보안 및 가용성에 있습니다. 역대급 업그레이드! Jetpack 6의 등장 NVIDIA의 Jetpack 6는 Jetson 플랫폼 소프트웨어 아키텍처의 가장 큰 업그레이드로 기록될 것입니다. 이버 업그레이드는 Jetson 장치를 사용하는 개발자와 엔지니어들에게 중요한 의미를 가지며, AI.ML 분야의 발전에 기여할 것으로 기대를 모으고 있습니다. Jetpack 6의 주목할 특징 중 하나는 업스트림 리눅스 커널과 운영체제(OS) 배포본에 기반을 두고 있다는 점입니다. 이것은 기존의 Jetson 사용자들에게 더 많은 선택권과 유연성을 제공합니다. 사용자들은 이제 자신의 요구 사항과 호환되는 다양한 리눅스 버전을 선택할 수 있습니다. 또한, NVIDIA는 CUDA의 버전을 L4T BSP(Linux for Tegra Board Support Package)에서 분리했습니다. 이것은 개발자들이 자신의 애플리케이션에 필요에 따라 다양한 버전의 CUDA, CUDNN(컨볼루션 신경망을 위한 CUDA Deep Neural Network 라이브러리), 그리고 TensorRT를 자유롭게 설치하고 실험할 수 있는 자유를 제공합니다. 이러한 변화는 Jetson 플랫폼의 사용자 경험을 개선하고 더 많은 실험과 혁신을 가능하게 합니다. Jetpack 6는 PyTorch, TensorFlow와 같은 다양한 ML 프레임워크에 대해 최적화된 빌드와 컨테이너를 제공합니다. 이는 개발자들이 이러한 프레임워크를 Jetson 장치에서 보다 효율적으로 사용할 수 있도록 지원합니다. 더불어, 모든 거대 언어 모델(LLM)과 비전 트랜스포머(VIT) 라이브러리도 지원합니다. 이를 통해 개발자들은 TAO, NGC, Hugging Face에서 다운로드할 수 있는 세계적 수준의 사전 훈련된 모델을 Jetpack에서 사용하여 Jetson과 같은 엣지 장치에서 놀라운 성능을 경험할 수 있습니다. 또한, NVIDIA는 비디오 분석을 위한 더 많은 컴포넌트와 서비스를 Metropolis에서 Jetson으로 옮기고 있습니다. 이는 비디오 분석 애플리케이션 개발을 더욱 간편하고 효율적으로 만들 것입니다. 이와 함께, 자율 로봇을 위한 최적화된 비전 젬이 포함된 Isaac ROS 2.0도 출시되었습니다. 이는 로봇 개발자들이 로봇 애플리케이션을 더욱 효과적으로 구축하고 테스트할 수 있게 도와줍니다. Jetpack 6는 11월 말 출시 예정으로 Jetson-Orin 장치 사용자들에게 향상된 성능과 기능을 제공할 것입니다. 또한, 이번 업그레이드는 향후 Jetson 플랫폼의 업그레이드를 훨씬 쉽게 만들 것으로 기대됩니다. 이러한 발전은 Jetson 사용자들에게 AI와 ML 개발의 새로운 가능성을 열어줄 것입니다. Jetson Orin을 활용해 엣지에 LLM이나 생성형 AI 모델 배포 데모를 보고 싶다면 다음 웨비나가 도움이 될 것입니다. #엣지_LLM #엣지_컴퓨팅_생성형AI #Jetson_Orin #CUDA #TensorRT #Jetson_AGX

  • 방송 업계의 디지털 전환을 가속하는! NVIDIA Holoscan for Media

    NVIDIA Holoscan for Media는 EBU(유럽방송연합)의 동적 미디어 시설(Dynamic Media Facility, DMF) 비전을 실현하는 솔루션입니다. DMF란 개념이 낯설 것입니다. 유럽방송연합은 미래 미디어 제작이 매우 유연하고 역동적인 기술 접근 방식을 채택할 것이라는 비전을 제시합니다. 이 비전은 미디어 제작의 가치 사슬을 변혁시키는 DMF 개념의 일부입니다. DMF는 미디어 조직이 미디어 제작 분야에서 빠르게 변화하는 환경에서 경쟁력을 유지하고 효과적으로 활동하기 위해 민첩하고 적응 가능한 기술 방법을 받아들일 필요성을 강조합니다. 방송 산업의 디지털 전환 전략은? NVIDIA Holoscan for Media는 유럽방송연합의 DMF 비전을 실현하는 데 중요한 역할을 합니다. 이 플랫폼은 방송사가 여러 벤더의 하드웨어를 하나의 플랫폼에서 재활용할 수 있도록 소프트웨어 미디어 기능을 제공합니다. 플랫폼의 아키텍처는 NVIDIA GPU와 네트워킹을 탑재한 서버를 기반으로 하며, 오픈 소스 쿠버네티스를 포함해 네트워킹과 GPU를 쿠버네티스에 통합합니다​​. NVIDIA Holoscan for Media는 방송사의 하드웨어를 필요에 따라 다양한 애플리케이션에 재사용할 수 있는 능력을 제공합니다. 이는 방송사가 필요에 따라 하드웨어 플랫폼을 현재 시간, 날짜, 분에 맞게 재구성할 수 있게 하며, 벤더들이 개방적인 방식으로 배포되는 동시에 일관된 플랫폼에 의존할 수 있도록 지원합니다​​. 이러한 플랫폼은 쿠버네티스를 사용하여 서버 클러스터 내에서 필요한 기능을 갖춘 노드에 애플리케이션을 스케줄링합니다. 이 접근 방식은 방송사와 벤더 모두에게 유연성과 효율성을 제공합니다. NVIDIA Holoscan for Media는 방송 환경에 혁신적인 접근을 제공하는 플랫폼입니다. 이는 다음과 같은 주요 특징을 가지고 있습니다. 오픈 스탠다드 & SDK: Holoscan은 오픈 스탠다드와 여러 SDK를 기반으로 구축되었습니다. 이는 SMPTE 2110과 같은 방송 규격을 지원하며, NVIDIA의 Rivermax SDK를 통해 대용량 미디어 전송을 최적화합니다. 또한, 개발자는 DeepStream SDK를 통해 GStreamer 기반의 스트리밍 분석 툴킷을 사용할 수 있습니다​​. GPU 가속 및 네트워킹: 플랫폼은 NVIDIA GPU와 네트워킹을 갖춘 서버를 기반으로 하며, 쿠버네티스와 NVIDIA GPU 오퍼레이터, 네트워크 오퍼레이터를 통해 GPU와 네트워킹을 쿠버네티스 환경에 통합합니다​​. 유연성과 확장성: Holoscan은 미디어 외의 다양한 센서 유형을 관리하고 제어할 수 있는 기능도 제공합니다. Holoscan SDK를 사용하면 실시간, AI 기반 센서 처리 파이프라인을 개발하여 데이터센터부터 엣지까지 확장할 수 있습니다​​. 이러한 특징들은 방송사와 개발자 모두에게 유연한 플랫폼을 제공하며, 특정 컨트롤 플레인이나 전송 방식에 제한받지 않고 애플리케이션을 컨테이너 배포로 옮길 수 있는 능력을 부여합니다. 쿠버네티스는 서버 클러스터 내에서 애플리케이션을 적절히 배치하여 필요한 기능을 제공합니다. 이는 방송사가 현재 필요에 따라 하드웨어 플랫폼을 재활용할 수 있게 하며, 벤더들이 오픈한 환경에서도 플랫폼을 신뢰하고 배포할 수 있는 이점을 제공합니다. 간단히 살펴본 바와 같이 NVIDIA Holoscan for Media는 방송 업계의 디지털 전환 전략에 중요한 기여를 할 것으로 보입니다. 플랫폼 데모가 궁금하다면 다음 영상을 참조 바랍니다. #NVIDIA #NVIDIA_Holoscan_for_Media #GPU

  • Nsight Systems 도구를 이용한 NVIDIA Grace CPU 성능 튜닝

    NVIDIA의 그레이스 CPU는 데이터 센터용으로 설계된 NVIDIA의 첫 번째 CPU로, 뛰어난 단일 및 멀티스레드 성능, 높은 메모리 대역폭, 우수한 전력 효율성을 자랑합니다. 이 CPU는 AI, 고성능 컴퓨팅(HPC), 클라우드 컴퓨팅을 가속합니다. 이 포스팅에서는 Nsight Systems 도구를 이용한 NVIDIA Grace CPU 성능 튜닝을 간단히 살펴보겠습니다. Grace CPU 성능 모니터링 NVIDIA의 Grace CPU에는 Arm 성능 모니터링 유닛(PMU)이라는 특별한 기능이 포함되어 있습니다. 이 PMU는 '이벤트 카운터'라고 불리는 도구를 사용하여 CPU의 성능을 감시하고 분석합니다. 이벤트 카운터는 CPU가 수행하는 다양한 작업들을 계산하고, 이를 통해 전체적인 성능을 평가할 수 있게 해줍니다. 또한, Grace CPU는 Arm 통계적 프로파일링 확장(SPE)을 통해 성능 측정을 더 효율적으로 수행합니다. SPE는 하드웨어의 성능을 더 자세하게 살펴볼 수 있도록 돕는데, 이는 성능 관련 데이터를 적은 컴퓨터 자원을 사용하여 (낮은 오버헤드로) 높은 해상도로 측정하고 분석할 수 있게 합니다. 이를 통해 CPU의 성능을 더 정확하고 효율적으로 파악할 수 있습니다. Nsight Systems이란? NVIDIA의 Nsight Systems는 다양한 컴퓨터 구성 요소에서 발생하는 이벤트와 활동을 분석하는 도구입니다. 이 도구는 Grace CPU를 포함한 여러 하드웨어 컴포넌트(GPU, DPU, 메모리, 네트워크)에서 발생하는 이벤트와 API 활동을 동시에 살펴보고, 이를 시각적으로 보여줍니다. 특히, Nsight Systems는 Grace CPU의 '코어 이벤트 속도'를 측정하여, CPU 코어가 어떻게 동작하고 있는지를 분석합니다. 여기에는 CPU 사이클, 명령어 실행, 캐시 참조 등의 세부 정보가 포함되어 있으며, 이러한 데이터는 각 CPU 코어의 성능과 효율성을 평가하는 데 도움이 됩니다. Nsight Systems 언코어 이벤트 속도 또한, Nsight Systems의 '언코어 이벤트 속도'는 NVIDIA의 Grace CPU에서 코어 외부에서 일어나는 작업을 분석합니다. 여기에는 메모리 접근, PCIe (주변장치 연결 인터페이스) 이벤트 및 NVIDIA NvLink-C2C(데이터 전송을 위한 고속 연결) 활동 등이 포함됩니다. 이 정보는 특히 Grace Hopper Superchip이나 Grace CPU Superchip 같은 고급 제품에서 중요한데, 이들은 NvLink-C2C를 사용하여 Grace CPU를 NVIDIA Hopper GPU 또는 다른 Grace CPU와 연결합니다. 이러한 언코어 이벤트와 코어 이벤트의 분석을 통해, Grace CPU에서 실행되는 애플리케이션의 성능을 더 정밀하게 이해하고 최적화 전략을 개발할 수 있습니다. NVIDIA의 프로세서와 소프트웨어 스택으로 구성한 데이터센터에서 CUDA 커널의 성능을 분석하는 것은 매우 중요합니다. 이를 위해 NVIDIA는 Nsight Compute라는 특별한 도구를 제공합니다. 이 도구의 새로운 기능인 '성능 모니터 샘플링(PM 샘플링)'을 사용하면, CUDA 커널 내부에서 시간에 따라 변하는 성능 문제를 자세히 파악할 수 있습니다. 즉, 커널의 성능을 시간 순서대로 분석하여 표준적인 성능 지표만으로는 감지하기 어려운 문제를 발견할 수 있습니다. PM 샘플링을 활용하면 어플리케이션의 성능을 더욱 정밀하게 최적화할 수 있는 깊은 통찰력을 얻을 수 있습니다. Nsight Compute PM 샘플링 Nsight Compute PM 샘플링은 CUDA 코드의 성능을 최적화하기 위한 NVIDIA의 도구 중 하나입니다. 이 도구는 소스 코드의 변화가 커널 성능에 어떤 영향을 미치는지 분석할 수 있게 해줍니다. 즉, 코드 수정 후 성능에 어떤 변화가 발생했는지 직접 비교하여 볼 수 있습니다. 이를 통해, 개발자는 소스 코드의 변화가 성능에 미친 구체적인 영향을 이해하고, 필요한 최적화를 진행할 수 있습니다. 이 기능은 특히 GPU에서 실행되는 CUDA 코드의 성능 튜닝에 유용하며, Grace CPU와 같은 데이터 센터 컴퓨팅 환경에서의 효율성을 높이는 데 도움이 됩니다. 성능 튜닝 리소스 이상으로 간단히 Nsight Systems 및 Nsight Compute를 이용한 Grace CPU 성능 튜닝에 대해 알아보았습니다. 실제로 어떻게 작업을 하는 지는 다음 데모 영상을 참조 바랍니다. 그리고 Nsight Systems 및 Nsight Compute에 대한 더 자세한 정보는 NVIDIA 페이지를 참조하거나 유클릭으로 문의 바랍니다. #NVIDIA #Grace_CPU #CPU_성능튜닝 #Nsight_Systems #Nsight_Compute

  • 가상의 캐릭터가 창의적이고 유러스러스한 답변을 척척 해낸다! 거대 모델 조정과 훈련을 더욱 간단한 작업으로 만드는 ‘Nemo steer LM’

    Nemo steer LM은 최근 거대 모델 기반 생성형 AI 모델 최적화 관련해 주목받는 기술 중 하나입니다. 이 기술을 통해 사용자는 모델의 속성을 추가하거나 제거함으로써 더욱 세밀한 조정과 훈련이 가능해지는데, 이에 대해 상세히 알아보겠습니다. Nemo steer LM의 핵심 특징은 다음과 같습니다. 세밀한 조정: 사용자는 특정 속성을 명시적으로 추가하거나 제거하여 모델의 훈련과정을 세밀하게 조정할 수 있습니다. 개발자 맞춤화: 개발자는 추론 시간에 완전히 맞춤화된 응답을 제공하는 모델을 생성할 수 있습니다. 개발자가 특정 주제나 도메인에 특화된 모델을 만들고 싶을 때, Nemo steer LM을 활용하여 해당 주제나 도메인의 속성을 강화시키거나, 불필요한 속성을 제거하여 특화된 모델을 만들 수 있습니다. 예를 들어, 금융 관련 정보를 제공하는 챗봇을 만들고자 할 때, Nemo steer LM을 활용하여 금융과 관련된 속성을 강화시키고, 관련 없는 속성 (예: 요리나 스포츠)을 제거함으로써, 금융에 특화된 모델을 만들 수 있습니다. 다음 영상을 보시죠. 디지털 세상에서 라면 가계를 운영하는 ‘진’이라는 캐릭터에 생성형 AI로 새로운 차원의 창의력과 유머 센스을 부여하는 것에 대한 내용입니다. 오프 라인 세상에서 라면 가계 주인과 대화를 나누는 듯한 경험을 제공한다? 얼마 전까지만 해도 난이도 높은 작업이었습니다. 그러던 것이 생성형 AI 기술과 관련 도구가 빛의 속도로 진화하면서 이제는 누구나 마음만 먹으면 도전해볼 수 있는 목표가 되었습니다. 위 영상에 등장하는 캐릭터는 Nemo라는 NVIDIA의 사전 훈련된 거대 모델을 가져와 Nemo steer LM로 라면 가계라는 환경과 상황에 맞게 최적화를 한 것입니다. 영상을 보면 초반에는 질문에 뻔한 답을 하는데 Nemo steer LM로 조정을 하고 나면 창의적이고, 때로는 유머러스한 답변을 척척 해냅니다. 그 차이를 좀 볼까요. 다음은 영상에 나오는 Nemo steer LM 사용해 조정하기 전의 대화 내용입니다. 손님: 안녕하세요 진, 라면 사업은 어떻게 되고 있나요? 라면 가계 주인: 요즘은 많이 안 좋아요. 손님: 왜 그런 것 같아요? 라면 맛은 어때요? 라면 가계 주인: 맛있다고 생각하는데 왜 그런지 모르겠어요. 다음은 Nemo steer LM로 창의적인 답변을 할 수 있게 조정한 다음의 대화 내입니다. 손님: 안녕하세요 진, 라면 사업은 어떻게 되고 있나요? 라면 가계 주인: 요즘은 많이 안 좋아요. 손님: 왜 그런 것 같아요? 라면 맛은 어때요? 라면 가계 주인: 추가한 새로운 맛이 문제가 되고 있을 수도 있다고 생각해요. 잘 모르겠지만 좀 더 매운맛을 내기 위해 신선한 한국 고추를 추가했어요. 그게 문제일 수도 있겠죠. 손님: 그럴 수도 있겠네요. 다음은 다음은 Nemo steer LM로 유머 센스를 강화하여 조정한 후의 답변입니다. 손님: 안녕하세요 진, 라면 사업은 어떻게 되고 있나요? 라면 가계 주인: 요즘은 많이 안 좋아요. 손님: 왜 그런 것 같아요? 라면 맛은 어때요? 라면 가계 주인: 내 요리 실력을 의심하고 있나요? 내 가게가 아직 열려있는 이유는 바로 내 라면 덕분이에요. 살펴본 바와 같이 Nemo steer LM은 세밀한 조정과 훈련 기능을 제공하여 개발자들에게 큰 유용성을 제공합니다. 특정 도메인이나 주제에 맞춤화된 모델을 생성하고자 할 때, 이 기술을 활용하면 보다 효과적이고 정확하고 사용자에게 새로운 경험과 감동을 주는 결과를 얻을 수 있습니다. #NVIDIA #NEMO #Nemo_steer_LM

  • 엣지와 생성형 AI의 만남 - Jetson Generative AI Lab의 NanoDB 튜토리얼 소개

    생성형 AI를 엣지에 적용하는 것은 조만간 대세가 되지 않을까요? 만약 관심이 있다면 Jetson Generative AI Lab을 통해 사전 훈련과 평가를 해보세요. 관련해 이번 포스팅에서는 AI 모델을 배포하는 엣지 장치를 위한 데이터베이스로 NanoDB를 활용하는 것을 배울 수 있는 Jetson Generative AI Lab의 튜토리얼을 간단히 소개해 볼까 합니다. NanoDB란? 먼저 NanoDB를 알아보겠습니다. NanoDB는 다중 모드 벡터 데이터베이스입니다. 벡터 데이터베이스는 데이터를 기하학적 또는 벡터 공간으로 표현하는 벡터 데이터를 처리하기 위한 솔루션이라 볼 수 있습니다. 이를 좀 기술적으로 표현하면 “NanoDB는 텍스트2이미지(txt2img) 및 이미지2이미지(img2img) 유사성 검색을 위해 CLIP 비전 변환기 의 임베딩을 사용하는 CUDA 최적화 다중 모드 벡터 데이터베이스”입니다. NanoDB는 대규모 데이터셋에서 유사한 항목을 검색하는 시나리오에서 특히 유용합니다. 벡터 데이터베이스는 다중 모드 데이터(예: 텍스트, 이미지, 비디오)를 처리할 수 있으며 많은 AI 및 ML 응용 프로그램에 중요한 빠른 최근접 이웃 검색 기능을 제공합니다. 에지 컴퓨팅 환경에서 데이터를 효과적으로 인덱싱하고 검색하는 데 사용되는 것 외에도, NanoDB는 RAG(검색 증강 생성) 용 거대 언어 모델(LLM)과 함께 사용될 때, 내장된 컨텍스트 길이를 초과하는 장기 메모리를 위한 벡터 데이터베이스로서의 역할을 하기도 합니다. 이는 특히 Llama-2 모델의 경우 4096개의 토큰을 초과하는 경우에 해당합니다. Vision-Language 모델 또한 동일한 임베딩을 사용하여 데이터를 처리합니다. 요약하자면 NanoDB는 CUDA로 최적화된 다중 모드 벡터 데이터베이스로, CLIP 비전 변환기의 임베딩을 활용하여 텍스트와 이미지 간의 유사성 검색을 수행하며, 에지 환경에서 데이터를 효과적으로 인덱싱하고 검색하는 데 사용하기 좋습니다. 엣지에서의 데이터 처리 NVIDIA는 다양한 도구와 프레임워크를 통해 엣지에서 데이터 처리를 지원합니다. 그러한 프레임워크 중 하나는 TensorFlow와 PyTorch를 기반으로 한 NVIDIA TAO Toolkit입니다. 이 툴킷은 모델 훈련 과정을 간소화하고 가속화하여 개발자가 자신의 데이터로 사전 훈련된 모델을 미세 조정하는 것을 쉽게 만듭니다. NanoDB와 같TAO Toolkit 같은 도구는 엣지에서 효율적인 데이터 인덱싱, 검색 및 처리를 가능하게 하는 데 중요합니다. 이들 솔루션을 잘 활용하면 인해 비디오 분석, 결함 감지, 로봇을 위한 자율 항법 및 인간-로봇 상호 작용과 같은 다양한 응용 프로그램 개발 효율을 높일 수 있습니다. Jetson Generative AI Lab으로 실습 해보기 NVIDIA Jetson Generative AI Lab은 인기 있는 Generative AI 모델을 배포하는 방법에 대한 튜토리얼과 각종 리소스를 제공합니다. 앞서 소개한 NanoDB 관련 튜토리얼도 준비되어 있습니다. 튜토리얼은 Jetson 장치에서 NanoDB를 설정하고, 데이터셋을 인덱싱하고, 데이터셋 내에서 유사한 항목을 찾기 위한 검색 쿼리를 실행하는 방법에 대한 단계별 가이드를 제공합니다. 이러한 실제 연습을 통해 개발자들은 NanoDB와 같은 벡터 데이터베이스가 실제 엣지 AI 응용 프로그램에서 어떻게 활용될 수 있는지에 대한 실질적인 경험과 지식을 쌓을 수 있습니다. 더 자세한 내용은 실습 튜토리얼 또는 깃허브 페이지를 참조 바랍니다. 실습 페이지에 가면 위와 같은 데모 영상을 볼 수 있는 데요, 이 영상은 Jetson AGX Orin을 사용하여 MS COCO 이미지 캡션 데이터 세트의 275K 이미지에서 실시간으로 작동하는 것을 보여줍니다. #NVIDIA #NVIDIA_Jetson_Generative_AI_Lab #NVIDIA_TAO_Toolkit #NanoDB #벡터_데이터베이스

bottom of page