검색 결과

Zero-shot prompts: 이 접근 방식에서는 AI 모델에 당면한 문제와 관련된 특정 이전 경험이 제공되지 않습니다. 이는 모델이 이전에 구체적으로 본 적이 없는 문제를 예측하거나 해결해야 하는 상황을 말합니다. 예를 들어 모델에 번역 작업을 수행하도록 요청하는 경우 이는 '제로 샷' 작업이 될 수 있습니다. 모델은 사전에 구체적인 번역 예시를 제공받지 못한 상태에서 원하는 언어로 번역을 수행해야 합니다. Few-shot prompts: 이 접근 방식에서는 모델이 이전에 경험한 몇 가지 예제를 기반으로 새로운 문제를 해결하도록 안내합니다. 이러한 예제는 일반적으로 프롬프트에 직접 포함됩니다. 예를 들어 모델에게 "개가 ____?"라고 묻는다면 모델은 "강아지"라고 응답할 가능성이 높습니다. 프롬프트에서 이전 예제의 구조를 기반으로 이러한 연관성을 만드는 것입니다. Chain-of-thought prompts: 여러 차례 대화를 이어가면서 일관된 추론 라인을 유지하는 데 사용됩니다. 일련의 상호 연관된 단계가 필요한 작업에 도움이 됩니다. 여기에는 종종 대화 기록에 새로운 사용자 입력을 추가하여 모델이 이전 교환을 참조하고 컨텍스트를 유지할 수 있도록 하는 작업이 포함됩니다. 설명이 좀 복잡하죠? 간단히 정리하면 초거대 언어 모델에 질문을 어떻게 하느냐? 질문의 흐름을 어떻게 이어가느냐에 따라 답변이 달라질 수 있다는 것입니다. LLM 커스터마이징을 위한 P-튜닝 GPT-3 또는 GPT-4와 같은 초거대 모델을 커스터마이징을 해야 하는 경우도 있죠. 가령 오픈API가 제공하는 API를 이용해 서비스에 챗봇 기능을 추가하려 한다면 튜닝을 좀 알아야 합니다. 앞서 언급한 내용은 최종 사용자 입장에서 바라본 프롬프트 튜닝이라 할 수 있는데요. 지금 살펴볼 것은 서비스 제공자 또는 슈퍼 유저 입장에서 프롬프트 엔지니어링을 바라보는 것이라 이해하며 됩니다. P-튜닝은 간단히 말해 초거대 언어 모델(LLM)을 사용자 지정하는 기법이라 할 수 있습니다. 이 방법은 학습 가능한 고정 프롬프트에서 모델을 미세 조정하는 것을 포함합니다. 프롬프트를 사용하여 모델의 동작을 안내하는 아이디어를 변형한 것으로, 프롬프트를 수동으로 지정하는 대신 미세 조정 과정에서 모델이 특정 작업에 대한 최적의 프롬프트를 학습합니다. 이 접근 방식에는 입력에 학습 가능한 매개변수 세트를 추가하는 것이 포함되며, 이는 모델의 행동을 안내하는 학습 가능한 프롬프트 역할을 효과적으로 수행합니다. 이 프롬프트는 종종 미세 조정 프로세스 중에 임베딩이 학습되는 토큰 시퀀스로 표시됩니다. 그림. P-튜닝의 일반적인 흐름 (출처: NVIDIA Developer Blog) P-튜닝에는 몇 가지 장점이 있습니다. 전체 모델을 조정하는 것이 아니라 최적의 프롬프트를 학습하는 데 초점을 맞추기 때문에 기존의 미세 조정보다 작업별 데이터가 덜 필요합니다. 모델이 당면한 작업에 학습을 집중할 수 있도록 함으로써 모델 용량을 보다 효율적으로 사용할 수 있습니다. 이 방법은 모델의 기존 지식을 활용하여 대규모 사전 학습에서 특정 작업으로 지식을 이전할 수 있는 방법을 제공합니다. 이 방법은 작업별 데이터의 양이 제한되어 있거나 작업에 고도의 정밀도가 필요할 때 특히 유용합니다. NVIDIA NeMO 같이 기업에서 사내 데이터를 이용해 초거대 언어 모델 기반 서비스를 만들고자 한다면? NeMO에서 P-튜닝을 직접 해보세요. 참고로 얼리 액세스 프로그램 가입이 필요합니다. #GTP #P-Tuning #NVIDIA_NeMo #Prompt_Engineering

ChatGPT의 파급 효과가 나날이 커지고 있습니다. 많은 기업이 생성형 AI(Generative AI)의 파급 효과를 보고 AI 이니셔티브를 원점부터 다시 검토하고 있습니다. 관련해 생성형 AI 전략 수립을 위해 비즈니스 방향을 검토하는 동시에 생성형 AI 모델 추론(inference)을 위한 인프라와 소프트웨어 투자 전략을 구체화하려는 곳이 늘고 있습니다. 이런 조직에게 반가운 소식이 최근 발표되었습니다. NVIDIA는 최근 생성형 AI 애플리케이션에 최적화된 4개의 추론 플랫폼을 출시하였습니다. 이 플랫폼은 엔비디아의 전체 추론 소프트웨어 스택과 NVIDIA L4 Tensor Core GPU 및 NVIDIA H100 NVL GPU를 포함한 최신 NVIDIA Ada, NVIDIA Hooper, NVIDIA Grace 프로세서를 기반으로 하는 추론 시스템입니다. 각 플랫폼은 AI 비디오, 이미지 생성, 대규모 언어 모델 배포 및 추천 추론을 포함하여 수요가 많은 워크로드에 최적화되어 있습니다. 이번 추론 플랫폼 출시와 관련해 젠슨 황(Jensen Huang) 엔비디아 설립자 겸 CEO는 "생성형 AI의 부상은 더욱 강력한 추론 컴퓨팅 플랫폼을 필요로 하고 있습니다"라며 "생성형 AI의 애플리케이션 수는 무한하며 인간의 상상력에 의해서만 제한됩니다. 개발자에게 가장 강력하고 유연한 추론 컴퓨팅 플랫폼을 제공하면 아직 상상할 수 없는 방식으로 우리의 삶을 개선할 새로운 서비스의 생성이 가속화될 것입니다."라고 말합니다. 생성형 AI의 다양한 추론 워크로드 가속화 각 플랫폼에는 생성형 AI 추론 워크로드에 최적화된 NVIDIA GPU와 특수 소프트웨어가 포함되어 있습니다. AI 비디오용 NVIDIA L4: CPU보다 120배 더 높은 AI 기반 비디오 성능과 99% 향상된 에너지 효율성을 제공할 수 있습니다. 거의 모든 워크로드를 위한 범용 GPU 역할을 하는 이 제품은 향상된 비디오 디코딩 및 트랜스코딩 기능, 비디오 스트리밍, 증강 현실, 생성형 AI 비디오 등을 제공합니다. 이미지 생성을 위한 NVIDIA L40: 그래픽 및 AI 지원 2D, 비디오 및 3D 이미지 생성에 최적화되어 있습니다. L40 플랫폼은 데이터센터에서 메타버스 애플리케이션을 구축하고 운영하기 위한 플랫폼인 NVIDIA Omniverse의 엔진 역할을 하며, 이전 세대에 비해 안정적인 확산을 위한 추론 성능과 7배의 옴니버스 성능을 제공합니다. 대규모 언어 모델 배포를 위한 NVIDIA H100 NVL: ChatGPT와 같은 초거대 언어 모델을 대규모로 배포하는 데 이상적입니다. 트랜스포머 엔진 가속 기능이 있는 100GB 메모리가 탑재된 새로운 H94 NVL은 데이터센터 규모에서 이전 세대 A12에 비해 GPT-3에서 최대 100배 빠른 추론 성능을 제공합니다. 추천 모델을 위한 NVIDIA Grace Hooper: 그래프 추천 모델, 벡터 데이터베이스 및 그래프 신경망에 이상적입니다. 그레이스 호퍼는 CPU와 GPU 간의 900GB/s NVLink-C2C 연결을 통해 PCIe 7세대에 비해 5배 빠른 데이터 전송 및 쿼리를 제공할 수 있습니다. NVIDIA가 제공하는 추론 플랫폼은 사전에 최적화된 소프트웨어 스택이 통합되어 있습니다. 여기에는 고성능 딥 러닝 추론을 위한 소프트웨어 개발 키트인 NVIDIA TensorRT와 모델 배포를 표준화하는 데 도움이 되는 오픈 소스 추론 서비스 소프트웨어인 NVIDIA Triton 추론 서버가 포함된 NVIDIA AI Enterprise 소프트웨어 제품군이 있습니다. NVIDIA L4 GPU는 구글 클라우드 플랫폼에서 비공개 프리뷰로 제공되며, 어드밴텍, 아수스, 아토스, 시스코, 델 테크놀로지스, 후지쯔, 기가바이트, 휴렛팩커드 엔터프라이즈 , 레노버, QCT, 수퍼마이크로 등 30개 이상의 컴퓨터 제조사로 구성된 글로벌 네트워크에서도 이용할 수 있습니다. NVIDIA L40 GPU는 현재 ASUS, 델 테크놀로지스, 기가바이트, 휴렛팩커드 엔터프라이즈, 레노버, 수퍼마이크로 등 주요 시스템 빌더에서 구입할 수 있으며, 파트너 플랫폼의 수는 연중 확대될 예정입니다. Grace Hooper 슈퍼칩은 현재 샘플링 중이며 하반기에 전체 생산이 예상됩니다. H100 NVL GPU도 하반기에 출시 될 예정입니다. 새로 출시한 추론 플랫폼에 대한 상세 정보가 필요하면 유클릭으로 문의 바랍니다. #생성형_AI #Generative_AI #Chat_GPT #NVIDIA_L4_GPU #NVIDIA_L40_GPU #NVIDA_H100_NVL #NVIDIA_Grace_Hooper

엔터프라이즈는 위한 생성형 AI 토털 솔루션을 제공하기 위한 NVIDIA의 접근을 보면 진심이 느껴집니다. NeMo는 기술이자 솔루션인 동시에 거대한 생태계입니다. 왜 생태계라 부르는지 간단히 알아볼까요. NeMo는 NVIDIA와 오픈 소스 커뮤니티 모두의 노력을 통해 진화하고 있는 생태계입니다. 주요 구성 요소를 정리하면 다음과 같습니다. NVIDIA NeMo Service: 매니지드 방식으로 이용할 수 있는 클라우드 기반 서비스입니다. 이를 활용하면 초거대 언어 모델을 빠르게 비즈니스에 접목할 수 있습니다. 개발자는 모델 훈련과 추론을 위한 고성능 인프라에 대한 걱정 없이 NeMo를 활용하여 엔터프라이즈 AI 애플리케이션을 빠르고 쉽게 개발할 수 있습니다. 또한, 클라우드 API 또는 웹 인터페이스를 통해 가장 큰 언어 모델 중 하나 인 Megatron 530B를 경험할 수 있습니다. 현재 얼리 액세스 프로그램이 진행 중입니다. NVIDIA Nemo Framework: 개발자가 수십억 및 수조 개의 매개 변수를 사용하여 언어 모델을 효율적으로 훈련하고 배포할 수 있도록 지원하는 엔드 투 엔드 컨테이너화된 프레임워크입니다. 수천 개의 GPU에서 높은 훈련 효율성을 제공합니다. NeMo 프레임워크 컨테이너는 현재 오픈 베타가 출시되어 있으며 NGC를 통해 받아 사용할 수 있습니다. NVIDIA/NeMo: 초거대 언어 모델을 포함하여 음성 AI 및 자연어 처리를 연구하는 연구원을 위해 구축된 오픈 소스 대화형 AI 툴킷입니다. 깃허브를 통해 사용할 수 있습니다. NeMo Model: NVIDIA는 최근 1.3B GPT-3, 5B GPT-3, 3B mT5 모델 같은 소형 모델부터 20B GPT-3 같은 대형 모델에 이르기까지 사전 훈련된 NeMo 프레임워크 모델을 오픈 소스화했습니다. FasterTransformer: 깃허브를 통해 사용할 수 있는 초거대 언어 모델의 고성능 추론을 위한 오픈 소스 툴킷입니다. FasterTransformer를 사용하여 공용 NeMo 프레임워크 모델을 배포하는 방법에 대한 자세한 내용은 관련 문서를 참조 바랍니다. NeMo의 가능성을 평가해 보고 싶다면? NeMo 프레임워크를 직접 체험해 보십시오. NeMo 프레임워크는 다중 GPU 및 다중 노드 구성을 통해 3D 병렬 처리 기법, 여러 사용자 정의 기법 중 선택, 언어 및 이미지 응용 프로그램을 위한 대규모 모델의 최적화된 대규모 추론을 통해 훈련을 위한 가속화된 워크플로를 제공합니다. NeMo는 기업이 제너레이티브 AI 모델을 쉽고 비용 효율적이며 빠르게 개발할 수 있도록 지원합니다. NeMo 프레임워크는 NVIDIA LunchPad에서 무료 실습을 할 수 있습니다. NeMo 프레임워크로 대규모 NLP 모델 훈련시키는 것부터 신약 개발을 위한 초거대 언어 모델 학습과 배포 실습까지 준비되어 있습니다. NeMo 프레임워크를 활용하면 생성형 AI를 기업의 핵심 경쟁력으로 삼을 수 있는 기회를 잡을 수 있습니다. 간단히 몇 가지 응용 사례를 정리하면 다음과 같습니다. 이는 정말 일부입니다. ChatGPT로 검색을 해보면 기상천외한 활용 시나리오들이 많죠. 네, 생성형 AI의 응용은 상상력에 맡겨야 할 정도로 무궁무진합니다. NeMo 프레임워크로 상상의 한계에 도전해 보세요. 컨텐츠: 마케팅 자료, 제품 설명서, 매뉴얼 등 요약: 주요 문서 요약, 다양한 리소스의 내용을 참조한 요약, 회의 내용 요약 등 챗봇: 질문 및 답변을 통해 업무 생산성 향상, 고객 서비스 개선 등 정보 검색: 엔터프라이즈의 모든 리소스를 탐색하여 질문에 맞는 답변 생성 등 분류: 고객 세분화 등 데이터 수집과 가공 작업 등 번역: 다국어 번역 #GPT #FasterTransformer #NVIDIA_NeMo

ChatGPT로 요즘 AI 기술에 대한 관심이 전례 없는 수준으로 높아지고 있습니다. 생성형 AI 기술은 일반인부터 전문가 그리고 기업까지 모두의 관심사가 되었습니다. ChatGPT는 일반에 서비스 공개 후 곧바로 API 서비스, 플러그인 및 플러그인 마켓플레이스에 대한 비전을 공개하였습니다. 이를 통해 기업들이 ChaGPT를 비즈니스에 활용할 수 있는 길을 제시하였습니다. 일각에서는 기업 환경에서 조직원이 무분별하게 ChatGPT를 사용하는 것에 우려의 시각을 보이고 있습니다. 몇몇 기업의 경우 ChatGPT 접속을 차단하는 등 적극적으로 나서고 있기도 하고요. 그렇다면 왜 기업에서 조직원의 ChatGPT 사용을 걱정하는 것일까요? 생성형 AI 도입에 대한 기업들의 우려 데이터 유출에 대한 걱정 때문입니다. 생성형 AI 모델은 대규모 데이터를 사용하여 훈련되기 때문에, 기업의 민감한 정보가 노출될 위험이 존재합니다. 모델이 훈련 데이터에서 민감한 정보를 추출하여 잠재적으로 공개될 수 있는 결과물을 생성할 수 있습니다. 다음으로 지적 재산권 위배의 우려도 있습니다. 생성형 AI의 경우 생성된 결과물에 대한 책임 소재가 모호해질 수 있습니다. 예를 들어, AI가 무단 저작권 침해나 명예훼손, 개인정보 침해 등의 문제를 일으킬 경우, 법적 책임이 누구에게 있어야 할지 결정하기 어려울 수 있습니다. 그렇다고 생성형 AI를 외면할 수는 없습니다. 기업에게 생성형 AI는 지금껏 없던 사용자 경험, 직원 경험, 파트너 경험을 창출할 수 있습니다. 그리고 디지털 플랫폼을 기반으로 디지털 제품을 출시하며 새로운 비즈니스 영역에 진출하는 속도를 높일 수 있습니다. 구더기 무섭다고 장 담그는 것을 포기할 수는 없죠. NVIDIA가 제공하는 엔터프라이즈를 위한 생성형 AI는 보안과 저작권 걱정이 없습니다. 이 서비스는 ChatGPT의 API 서비스와 비슷하다고 보면 됩니다. 조직의 데이터를 가지고 생성형 AI 서비스를 클라우드를 통해 이용한다고 보면 됩니다. 엔터프라이즈를 위한 생성형 AI NVIDIA AI Foundations를 공개하였습니다. NVIDIA AI Foundations를 텍스트 언어, 시각 미디어 및 생물학 언어에 대한 최첨단 기초 모델을 시작으로 맞춤형 제너레이티브 AI를 구축하고 실행하는 간소화된 접근 방식을 기업에 제공하는 클라우드 서비스 제품군입니다. API를 통해 이용할 수 있는 클라우드 서비스라 보면 됩니다. NVIDIA AI Foundations는 다음과 같은 서비스로 구성됩니다. NVIDIA NeMo & NVIDIA BioNemo NVIDIA Picasso NVIDIA AI Foundations는 DGX 클라우드를 기반으로 서비스를 이용할 수 있습니다. DGX 클라우드는 NVIDIA DGX 시스템 기반 인프라, NVIDIA Base Command, NVIDIA AI Enterprise 플랫폼을 기반으로 하는 클라우드 서비스입니다. 월 단위 요금으로 우리 회사만의 생성형 AI 모델 훈련과 추론을 위한 컴퓨팅 환경을 이용할 수 있는 서비스인데요. 이 환경을 그대로 온프레미스, 퍼블릭 클라우드, 하이브리드 클라우드 환경에 구축할 수도 있습니다. DGX 클라우드 기반의 NVIDIA AI Foundations를 활용하는 것은 기업이 보안과 저작권 걱정 없이 생성형 AI를 비즈니스에 활용하는 쉽고 빠르고 확실한 길이 아닐까요. 각각에 대해 간단히 알아보겠습니다. NVIDIA NeMo는 뭐 따로 설명할 필요 없을 정도로 유명합니다. NVIDIA NeMo는 최첨단 대화형 AI 모델을 개발하기 위한 오픈 소스 툴킷입니다. NVIDIA에서 개발하여 2019년에 출시되었습니다. NeMo는 자동 음성 인식(ASR), 자연어 이해(NLU), 텍스트 음성 변환(TTS) 모델을 비롯한 복잡한 대화형 AI 모델을 구축하기 위한 간단하고 유연한 인터페이스를 제공합니다. PyTorch를 기반으로 구축되었으며 보다 빠르고 효율적인 모델 학습을 위해 혼합 정밀도 학습을 지원합니다. 또한, NeMo는 대화형 AI의 일반적인 작업에 대해 사전 학습된 여러 모델과 스크립트를 제공하므로 개발자가 자체 모델 구축을 쉽게 시작할 수 있습니다. 또한 데이터 처리, 모델 디버깅 및 시각화를 위한 도구도 포함되어 있습니다. NeMo는 엔터프라이즈의 뜨거운 관심을 받고 있습니다. NVIDIA에 따르면 현재 60개 이상의 고객이 얼리 액세스 프로그램을 통해 기업들이 NeMo 서비스를 사용하고 있습니다. 몇몇 예를 들어 볼까요. Morningstar는 LLM을 사용하여 재무 문서와 같은 출처의 정보를 스캔하고 요약하여 시장 정보를 신속하게 추출합니다. 발렌베르그 AI, 자율 시스템 및 소프트웨어 프로그램(WASP)은 합성 데이터를 생성하여 LLM을 미세 조정하여 책임감 있는 AI 규정을 준수하도록 합니다. 그리고 Writer는 LLM을 사용하여 기업의 브랜드 보이스로 콘텐츠를 생성하고 있습니다. 다음으로 Picasso는 최근에 공개된 서비스인데요. AI 기반 이미지, 비디오 및 3D 애플리케이션을 구축하고 배포하기 위한 클라우드 서비스라고 이해하면 됩니다. 엔비디아 피카소는 생성 AI 기반 비주얼 애플리케이션을 구축하기 위한 클라우드 서비스입니다. 기업, 소프트웨어 제작자 및 서비스 제공업체는 모델에서 추론을 실행하거나, 독점 데이터에 대해 NVIDIA Edify 기반 모델을 훈련하거나, 사전 훈련된 모델에서 시작하여 텍스트 프롬프트에서 이미지, 비디오 및 3D 콘텐츠를 생성할 수 있습니다. 이상으로 NVIDIA AI Foundations에 대해 간단히 알아보았습니다. 각 서비스에 대한 상세 내용은 별도 포스팅으로 소개하겠습니다. #생성형_AI #ChatGPT #NVIDIA_AI_Foundations #DGX_Cloud

ChatGPT는 초거대 모델 기반의 생성 AI(Generative AI) 기반 서비스가 몰고올 거대한 변화를 예고하고 있습니다. 대규모 언어 모델 관련 최근 소식을 정리해 보면 2020년 6월 OpenAI는 1,750억 개의 매개변수로 구성되는 GPT-3모델과 이를 기반으로 하는 ChatGPT를 선보였다. 뒤를 이어 2021년 NVIDIA와 마이크로소프트는 Megatron-Turing Natural Language Generation 530B 개발 소식을 알렸습니다. 2022년에는 HuggingFace가 46개 언어와 12개 이상의 프로그래밍 언어로 텍스트를 생성할 수 있는 BLOOK을 도입하였습니다. 그리고 2022년 12월 1일 ChatGPT 테스트 버전이 일반에 공개되며 전 세계는 생성 AI로 디지털 세상이 새로운 변곡점에 도달했다고 열광하였습니다. ChatGPT는 출시 5일만에 사용자 수 100만을 찍었습니다. 이는 전례 없는 기록입니다. 서비스의 서비스가 될 대화형 AI ChatGPT 같은 대화형 AI는 앞으로 서비스의 서비스가 될 전망입니다. 모든 산업계에서 대화형 AI가 더 나은 직원 경험과 고객 경험을 제공할 것으로 기대하고 있습니다. 그렇다면 대화형 AI 서비스가 산업계에 어떤 변화를 불러 올까요? 모두가 공감하는 포인트를 몇 개 짚어 보겠습니다. 대화형 AI 서비스는 기업에서 생산성 향상에 큰 영향을 줄 수 있습니다. 대화형 AI 서비스를 사용하면 기업은 일부 작업을 자동화하고, 많은 조직원이 더욱 효율적으로 일할 수 있습니다. 대화형 AI 서비스는 새로운 비즈니스 모델을 창출할 수 있습니다. 기업은 대화형 AI 서비스를 사용하여 새로운 시장을 개척하고, 새로운 고객을 유치할 수 있습니다. 다음으로 대화형 AI 서비스는 기업에서 데이터 수집 및 분석에도 활용될 수 있습니다. 대화형 AI 서비스를 사용하면 기업은 고객과의 대화에서 다양한 데이터를 수집하고, 이를 분석하여 비즈니스 의사 결정에 활용할 수 있습니다. 간단히 정리한 바와 같이 대화형 AI 서비스를 적용한 기업은 경쟁력을 강화할 수 있습니다. 대화형 AI를 사용하면 고객 서비스, 생산성, 비용 절감, 데이터 분석 등 다양한 영역에서 경쟁 우위를 점할 수 있습니다. 초거대 모델 기반의 대화형 AI 서비스 구축에 대한 NVIDIA의 해법 대화형 AI 서비스가 기업의 핵심 경쟁력이란 인식이 퍼지면서 서비스 개발과 운영 방안을 고심하는 곳이 늘고 있습니다. 이런 시장의 고민에 대한 답을 제시하는 곳 중 하나가 NVIDIA입니다. NVIDIA는 대규모 언어 모델의 구축 및 배포를 용이하게 하는 도구를 제공하여 대화형 AI 서비스 구현과 운영의 문턱을 낮추고 있습니다. NVIDIA가 제공하는 주요 서비스는 다음과 같습니다. NVIDIA NeMo LLM 서비스는 대규모 언어 모델을 맞춤화하고 NVIDIA의 관리형 클라우드 API를 사용하거나 프라이빗 및 퍼블릭 클라우드를 통해 대규모로 배포할 수 있는 빠른 경로를 제공합니다. NVIDIA AI 플랫폼의 일부인 NVIDIA NeMo Megatron은 대규모 언어 모델의 쉽고 효율적이며 비용 효율적인 교육 및 배포를 위한 프레임워크입니다. 엔터프라이즈 애플리케이션 개발용으로 설계된 NeMo Megatron은 자동화된 분산 데이터 처리를 위한 엔드투엔드 워크플로우를 제공합니다. GPT-3 및 T5를 포함한 대규모 맞춤형 모델 유형 교육 대규모 추론을 위해 이러한 모델을 배포합니다. NVIDIA BioNeMo는 프로테오믹스, 소분자, DNA 및 RNA의 대규모 언어 모델을 위한 도메인별 관리형 서비스 및 프레임워크입니다. 슈퍼컴퓨팅 규모에서 대형 생체분자 변환기 AI 모델을 교육하고 배포하기 위해 NVIDIA NeMo Megatron을 기반으로 구축되었습니다. 대화형 AI 서비스 구현을 계획 중이라면 유클릭이 NVIDIA의 인프라 및 소프트웨어 프레임워크 관련해 안내를 해드리겠습니다. #유클릭 #ChatGPT #OpenAI #NVIDIA #NVIDIA_NeMo #NVIDIA_BioNeMo #LLM서비스 #초거대_모델

인기 많은 도구는 다 그 이유가 있죠. 이번 포스팅에서는 Python 개발자의 테스트 부담을 덜어 주는 도구인 tox에 대해 알아볼까 합니다. Python 개발자들이 tox를 많이 사용하는 이유 tox를 사용하면 Python 패키지의 테스트를 더욱 효율적으로 실행할 수 있으며 높은 품질의 코드를 작성할 수 있습니다. tox의 인기 비결을 알아볼까요. tox는 Python 패키지의 여러 가지 환경에서 테스트를 자동으로 실행할 수 있습니다. 이를 통해 개발자들은 테스트 과정에서 일일이 각 환경을 수동으로 설정할 필요가 없습니다. tox는 각 테스트 환경마다 가상 환경을 생성하여 테스트를 실행합니다. 따라서 개발자들은 다른 패키지와의 충돌을 방지하고 테스트의 격리성을 유지할 수 있습니다. 다음 인기 비결로 다양한 Python 버전 지원을 꼽을 수 있습니다. tox는 여러 가지 Python 버전에서 테스트를 실행할 수 있습니다. 개발자는 간편하게 작성한 Python 패키지가 모든 Python 버전에서 작동하는지 확인할 수 있습니다. 또한, tox는 pytest, unittest, coverage 등 다양한 플러그인을 지원하여 사용자가 사용할 수 있는 유연성을 높입니다. tox는 여러 가지 환경에서 테스트를 실행할 수 있습니다. 이를 통해 사용자는 Windows, Linux, macOS 등 다양한 운영체제에서 테스트를 실행할 수 있습니다. tox는 설정 파일을 사용하여 테스트 환경을 구성할 수 있습니다. 이를 통해 사용자는 각 테스트 환경을 구성하고, 필요한 의존성을 설치하고, 테스트 스크립트를 실행할 수 있습니다. 이외에도 tox는 CI/CD 시스템과의 통합을 지원합니다. 이를 통해 사용자는 자동화된 빌드 및 배포 파이프라인에서 tox를 사용할 수 있습니다. 테스트 작업 흐름 다음 그림은 tox의 워크플로 다이어그램입니다. 위 다이어그램은 작업 흐름을 아래에 설명된 일련의 단계로 나누어 tox가 작동하는 방식을 보여줍니다. 파일 에 정의된 Python 버전을 사용하여 가상 환경(tox.ini)을 생성합니다. deps 파일 설정 아래 나열된 종속성을 tox.ini 가상 환경에 설치합니다. 프로젝트가 생성된 경우 sdist 프로젝트를 설치합니다(선택 사항). 격리된 가상 환경에서 명령을 실행합니다. 명령은 명령 설정 아래에 나열됩니다. 각 환경의 결과를 사용자에게 반환합니다. 위 단계를 가면 보면 tox가 가상 환경을 만들고 그 안에서 명령을 실행하여 워크플로를 자동화하는 데 사용할 수 있는 효과적인 개발자 도구임을 알 수 있습니다. tox에 전달할 수 있는 명령은 테스트를 실행하는 명령으로 제한되지 않으므로 tox는 테스트를 표준화하고 자동화하기 위한 도구 그 이상으로 활용할 수 있습다. tox에 관심이 있다면 깃허브에 올라온 간단한 샘플 예제가 도움이 될 것입니다.

NVIDIA AI Enterprise 3.0이 새로운 기능과 함께 발표되었습니다. NVIDIA AI Enterprise는 기업에서 AI를 구현하고 실행하기 위한 완전한 솔루션 스택입니다. NVIDIA AI Enterprise의 주요 특징은 다음과 같습니다. 최신 기술: NVIDIA의 최신 GPU 및 소프트웨어 스택을 통해 빠른 처리 속도와 더 높은 효율성을 확보할 수 있습다. 확장성: 기업은 NVIDIA의 GPU 기술을 사용하여 AI 모델을 확장하고, 더 많은 데이터를 처리하고, 더 많은 문제를 해결할 수 있습니다. 개발 생산성: 다양한 도구와 라이브러리를 활용해 개발자는 더 쉽게 AI 모델을 구현하고, 더욱 빠르게 개발할 수 있습니다. 통찰력: 기업은 AI 모델을 사용하여 대용량 데이터를 분석하고, 복잡한 패턴을 탐지하여 더 빠르게 의사 결정을 내릴 수 있습니다. 안정성: NVIDIA의 최신 AI 기술은 고성능과 안정성을 결합하여 더 높은 신뢰성을 제공합니다. 보안: NVIDIA의 보안 솔루션은 데이터 및 AI 모델을 안전하게 보호하며, 데이터 누출과 같은 보안 문제를 방지합니다. 유연성: 기업은 자신의 데이터센터 또는 클라우드에서 NVIDIA AI Enterprise를 구현할 수 있어 하이브리드 멀티 클라우드 기반으로 AI 인프라와 플랫폼을 운영할 수 있습니다. 3.0 버전에서 주목할 신기능은? NVIDIA AI Enterprise 3.0에서 주목할 신기능을 몇 가지 추려 보겠습니다. 첫 번째는 NGC 카탈로그 지원입니다. 이제 NGC 칼탈로그에 게시된 모든 NVIDIA AI 소프트웨어를 NVIDIA AI Enterprise 3.0 환경에서 활용할 수 있습니다. 따라서 NVIDIA AI Enterprise를 구독하고 있는 조직의 데이터 과학자나 AI 개발자는 50개 이상의 AI 프레임워크, 사전 훈련된 모델 및 SDK에 대한 NVIDIA 엔터프라이즈 지원 혜택을 누릴 수 있습니다 두 번째는 성능입니다. 3.0 버전에는 인프라 성능 최적화를 돕는 기능이 추가되었습니다. 여기에는 GPUDirect 스토리지, VMWare vSphsere 8.0의 GPU 가상화, 다중 vGPU 지원 등이 포함됩니다. 각각 알아보자면 먼저 이번 버전부터 매그넘 IO GPUDirect 스토리지가 지원되어 NVIDIA AI Enterprise 환경에서 데이터 처리 성능을 개선할 수 있게 되었습니다. 참고로 GPUDirect 스토리지는 CPU 처리 없이 GPU에서 데이터를 소비하거나 생성하는 애플리케이션을 위해 스토리지와 GPU 버퍼 간의 데이터 흐름을 간소화합니다. RDMA를 사용하여 스토리지에서 GPU 메모리로의 직접 경로에서 데이터를 빠르게 이동하고 바운스 버퍼를 통해 추가 복사를 제거하여 대기 시간을 줄이고 CPU 부담을 줄입니다. 더 자세한 내용은 NVIDIA AI Enterprise 환경에서 GPUDirect 스토리지를 실행하는 방법을 소개하는 문서를 참조 바랍니다. VMWare vSphsere 8.0의 GPU 가상화 지원도 반가운 소식입니다. 이제 하나의 VM에 최대 8개의 vGPU를 추가하여 이전 릴리스와 비교해 vGPU 수를 두 배로 늘릴 수 있습니다. 이에 따라 대규모 머신 러닝 모델의 성능 개선 및 복잡한 AI 및 머신 러닝 워크로드 처리에 있어 더 높은 확장성을 NVIDIA AI Enterprise 환경에서 확보할 수 있게 되었습니다. 가상화 관련해 VMWare 외에도 3.0 버전은 Red Hat Enterprise Linux 8.4, 8.6, 8.7, 9.0 및 9.1의 가상화 지원을 강화하였습니다. 이에따라 이제 NVIDIA AI Enterprise 환경에서 KVM 환경에 AI 워크로드를 자유롭게 배포할 수 있습니다. 다음으로 3.0 버전을 사용하면 단일 VM에 여러 vGPU를 프로비져닝 할 수 있습니다. 이전 버전의 경우 VM에 단일 GPU 또는 여러 GPU를 할당하는 방식이었는데, 3.0의 경우 다중 vGPU를 단일 VM에 프로비져닝 할 수 있어 자원 활용의 유연성이 높아졌습니다. 소개한 기능 외에도 3.0 버전은 A100 GPU, MIG, 사전 훈련(Pre-trained) 모델, 최신 딥 러닝 프레임워크, 쿠버네티스 지원, GPU 인스턴스 스케일링 등 여러 면에서 개선이 이루어졌습니다. 더 자세한 내용을 릴리즈 노트를 참고 바랍니다. #유클릭 #NVIDIA #NVIDIA_AI_Enterprise #A100 #MIG #vGPU #VMWare_AI #RedHat_AI

Jupyter 노트북은 오픈 소스 웹 애플리케이션으로 웹 브라우저를 통해 코드를 실행하고 결과를 확인할 수 있습니다. 웹 기반 도구가 주는 편의성은 양날의 칼과 같습니다. 어디서나 편하게 작업을 할 수 있다는 편리함의 이면에는 사이버 위협의 타깃이 될 수도 있다는 위험도 있습니다. 당신은 Jupyter 노트북 환경은 안전한가요? Jupyter 노트북 관련해 생각해 볼 수 있는 보안 위험은 크게 다음과 같이 나누어 볼 수 있습니다. 코드: Jupyter 노트북에서 작성한 코드는 노트북 파일에 저장됩니다. 따라서 노트북 파일이 다른 사람에게 노출될 경우 코드가 유출될 수 있습니다. 특히 기업에서 Jupyter 노트북을 사용하는 경우 중요한 코드나 데이터가 노출될 수 있어 보안 위험이 될 수 있습니다. 라이브러리: Jupyter 노트북에서 외부 라이브러리를 사용하는 경우가 많죠. 만에 하나 보안 취약점이 가진 라이브러리를 쓸 경우 의도치 않게 위험에 노출될 수 있습니다. 따라서 노트북에서 사용되는 모든 라이브러리는 보안 취약점 검토를 거쳐야 합니다. 웹 브라우저: Jupyter 노트북을 사용할 때 웹 브라우저를 사용합니다. 따라서 웹 브라우저의 보안 취약점이 노출될 경우 Jupyter 노트북에서 작성한 코드가 유출될 가능성이 있습니다. 권한: Jupyter 노트북을 사용할 때 사용자별로 권한을 관리할 수 있어야 합니다. 특히 기업에서는 민감한 데이터나 코드가 노출되지 않도록 권한 관리를 철저히 해야 합니다. NVIDIA 레드팀이 개발한 Jupyter 노트북용 보안 평가 프로그램 'jupysec' 규모가 큰 조직의 경우 보안 팀에 레드팀을 둡니다. 레드팀은 흔히 이야기 하는 취약점 평가나 실제 공격자가 사용하는 도구, 기술, 절차를 적용한 침투 테스트를 합니다. NVIDIA도 레드팀이 있는데요, 이 팀이 최근 Jupyter 노트북을 위한 확장 프로그램을 만들어 공개했습니다. 이 프로그램의 이름은 jupysec입니다. 이 프로그램이 하는 일은 Jupyter 노트북 환경의 보안 평가입니다. 잠재적 취약성, 공격 벡터 및 손상 지표 등을 적용해 식별한 아티팩트를 감지하기 위해 100개 이상의 룰을 적용해 평가를 합니다. 룰은 지속해서 추가될 것이라고 하네요. 이 확장 프로그램은 깃허브 페이지에서 받아 사용할 수 있습니다. jupysec은 독립 실행형 스크립트 또는 JupyterLab 확장으로 사용할 수 있습니다. 이 확장 프로그램은 Launcher에 Security Report 위젯을 추가합니다. 이는 사용자의 웹 브라우저에서 실행되는 확장 프로그램의 클라이언트측 구성 요소입니다. 사용자가 이 위젯을 클릭하면 Jupyter 클라이언트가 HTTP/GET 요청을 Jupyter 서버로 보냅니다. 서버는 요청이 인증된 사용자로부터 오는지 확인하고 jupysec 룰을 실행하고 평가 결과를 사용자에게 반환합니다. Jupyter 노트북을 기업에서 사용하는 경우라면? jupysec을 꼭 한번 써보십시오. 이 확장 프로그램을 조직의 데이터 과학 또는 인공 지능 개발 워크플로우에 적용하면 보안에 대한 걱정을 조금이나마 덜 수 있습니다. #유클릭 #jupysec #Jupyter #Jupyter_보안 #개발_보안

네트워크 모니터링은 시대 불변 IT 운영의 핵심입니다. 엔터프라이즈 컴퓨팅 환경이 LAN을 중심으로 연결되기 시작한 이래로 말이죠. 네트워크 모니터링이 중요한 이유는? 사용자가 체감하는 애플리케이션 성능에 밀접한 연관이 있기 때문입니다. 장애 포인트가 어디가 되었건 네트워크는 연결 고리를 갖을 수밖에 없습니다. 네트워크 모니터링이 목표한 효과를 거두려면 가시성 확보가 필요합니다. 하지만 현대적인 엔터프라이즈 네트워크 환경의 구성과 규모를 고려할 때 실시간으로 가시성을 확보하는 것은 쉽지 않습니다. 이런 현장의 고민 해결에 도움을 주고자 NVIDIA가 내놓은 해결책이 있습니다. 바로 NetQ입니다. NVIDIA NetQ는 Cumulus 및 SONiC 패브릭의 가시성 확보를 위한 네트워크 운영 도구 세트입니다. NetQ가 제공하는 가시성은 실행 가능한 통찰력을 제공합니다. 이 말이 무슨 뜻이냐 하면 NetQ는 실시간으로 엔터프라이즈 네트워크 운영 데이터를 수집, 처리, 시각화합니다. 네트워크 관리자는 속도 저하나 장애가 의심되는 상황을 빠르게 파악하고, 문제의 원인을 신속히 진단할 수 있습니다. 이런 민첩성 덕에 네트워크 운영팀은 장애 대응 시간을 크게 줄일 수 있습니다. 이런 이유로 NetQ가 실행 가능한 통찰력을 제공한다고 표현하죠. NetQ는 지속해서 발전 중인데요, 최근 흐름 분석(Flow Analysis) 기능이 추가되었습니다. 흐름 분석을 통해 네트워크 관리자는 서비스 트래픽 흐름을 패브릭에서 취한 경로와 즉시 상관시켜 MTTI(Mean Time to Innocence)를 더욱 큰 폭으로 줄일 수 있게 되었습니다. 이런 효과를 기대하는 이유를 좀 알아보겠습니다. 흐름 분석을 사용하면 패브릭의 엔드포인트 간에 특정 애플리케이션의 트래픽 흐름이 수행하는 모든 경로를 검색하고 시각화할 수 있습니다. 다음 화면은 NetQ 흐름 분석 대시보드입니다. 또한, 흐름 분석은 WJH( What Just Happened) ASIC 원격 측정과 함께 사용할 때 더욱 강력해집니다 . 흐름이 분석되는 동안 트래픽 경로에 있는 모든 스위치의 흐름 관련 WJH 이벤트가 제공되어 서비스 문제를 야기한 드롭이 있는지 발견하는 데 도움이 됩니다. 참고로 흐름 분석은 Cumulus Linux 5.0 이상을 실행하는 NVIDIA Spectrum 2 이상 스위치에서 지원됩니다 . 또한 지원되지 않는 스위치 또는 이전 버전의 Cumulus Linux 또는 SONiC 를 실행하는 스위치가 있는 브라운필드 배포를 위한 부분 경로 검색을 제공할 수 있습니다 . 새로운 기능이 궁금하다면? PoC 전에 NVIDIA Air에서 미래 테스트해보세요. 가상의 데이터센터 환경에서 다양한 NVIDIA의 기술과 솔루션을 테스트할 수 있는 클라우드 환경인 NVIDIA Air를 통해 NetQ의 흐름 분석 기능이 네트워크 운영에 가져올 변화를 느껴보세요. #NVIDIA #NVIDIA_Air #NetQ #네트워크_모니터링

프트웨어 정의 네트워크는 얼마 전까지만 해도 너무 먼 미래 이야기로 들렸습니다. 그러던 것이 요즘 점점 현실성 높은 이야기로 다가옵니다. 가상화, 컨테이너화를 통해 인프라 추상화 범위가 빠르게 확대되고 있다 보니 네트워킹 기능 역시 전통적인 독립 장치 중심에서 가상 어플라이언스 배포로 무게 중심이 옮겨가는 분위기입니다. 관련해 이제 네트워크 엔지니어도 코드를 알아야 한다는 말이 심심찮게 들립니다. 장비 설정과 트러블슈팅 같은 관리 전문성을 넘어 이제는 코드를 통해 가상 네트워크 어플라이언스를 배포하고, 설정하고, 관리하는 작업을 할 수 있어야 한다는 이유에서 나오는 이야기 같습니다. 관련해 이번 포스팅에서는 소프트웨어 정의 네트워크 환경에서 NVIDIA Cumulus Linux 스위치를 배포하는 것에 대해 간단히 알아보겠습니다. 데이터센터 자동화를 위한 NOS NVIDIA Cumulus Linux는 리눅스를 기반으로 한 NOS(Network Operating System)입니다. 베어메탈 스위치 장비에 관심이 있다면 아마 익숙한 NOS일 것입니다. NVIDIA Cumulus Linux와 다른 NOS 계열의 차이를 꼽자면 데이터센터 자동화를 꼽을 수 있을 것입니다. 개방형 아키텍처로 유연한 확장의 특징도 있는데 이는 다른 오픈 소스 기반 NOS도 비슷합니다. NVIDIA Cumulus Linux 테스트 방법 NVIDIA Cumulus Linux가 궁금하다면 모든 기능을 제공하는 무료 가상 어플라이언스인 NVIDIA Cumulus VX를 사용해보면 됩니다. 소프트웨어 정의 기반 네트워크 관련 개념 검증 중이거나 할 예정이라면 샌드박스 환경에서 간편하게 NVIDIA Cumulus VX를 테스트해 볼 수 있습니다. NVIDIA Cumulus VX는 VirtualBox, VMWare VSphere 같은 유명 하이퍼바이저와 Vagrant, GNS3 같은 오케스트레이터 환경에서 실행할 수 있습니다. NVIDIA 웹 사이트에서 선호하는 하이퍼바이저용으로 올려놓은 NVIDIA Cumulus VX 이미지를 다운로드해 평가할 수 있습니다. 또한, 가상 스위치를 이용해 네트워크 토폴로지를 구성하는 방법을 안내하는 가이드 문서도 참조할 수 있습니다. 다음 예는 NVIDIA Cumulus VX 2개와 2개를 리프로, 1개를 백본으로 한 토폴로지입니다. 이 3개의 스위치를 실행하면 BGP, MLAG 같은 기존 네트워킹 프로토콜을 적용하거나, ONIE 및 PTM 같은 Cumulus의 기술을 시험해 볼 수 있습니다. 만약 하이퍼바이저 환경이 마땅치 않다면? NVIDIA Cumulus in the Cloud를 이용해 무료로 가상 데이터센터 네트워크 환경을 시험해 볼 수 있습니다. #SDN #NVIDIA_Cumulus_VX #NOS

AI 이니셔티브를 발표하는 기업들이 늘고 있습니다. 이는 사업의 핵심 영역에 AI를 두겠다는 포석을 놓는 기업이 많아짐을 뜻합니다. 이처럼 AI 전략을 앞세운 기업들은 초반에 시행착오를 겪게 마련입니다. 오랜 기간 노하우를 쌓아온 비즈니스 컴퓨팅 환경과는 결이 달라도 많이 다르기 때문입니다. AI, ML 프로젝트를 시작할 때 흔히 마주하는 도전 과제는 하드웨어부터 소프트웨어까지 광범위한 영역에 걸쳐 생깁니다. AI 워크로드를 배포해 운영하는 것이 궁극의 목표인데, 이를 원활히 하기 위한 기반 마련부터 쉽지 않은 도전 과제들을 넘어야 하는 것이 현실입니다. 그렇다면 기업은 이런 도전 과제 해결의 방향을 어떻게 잡아야 할까요? 복잡한 문제일수록 단순하게 바라봐야 합니다. 인프라와 플랫폼 구축은 복잡한 작업입니다. 이를 간소화할 방안을 찾아야 합니다. 관련해 여러 기업이 AI 인프라와 플랫폼 간소화 방안을 제시합니다. AI 인프라와 플랫폼 구축과 운영 간소화 방안은 크게 두 가지 측면에서 접근할 수 있습니다. 하나는 서버이고 다른 하나는 데이터입니다. 이 두 측면을 잘 고려하면 다양한 AI 프로젝트 추진 요구에 유연하고 민첩하게 대응할 수 있는 인프라와 플랫폼을 운영할 수 있습니다. 서버 측면에서 간소화를 하는 방법은 너무 잘 알려져 있습니다. 네, NVIDIA의 레퍼런스 아키텍처를 기준점으로 잡는 것입니다. 이 방법은 사실상의 표준처럼 널리 받아들여지고 있습니다. 반면에 데이터 측면에서 간소화 방안을 찾는 것은 어느 기업의 제안을 고르느냐에 따라 차이가 좀 있습니다. 이런 경우 최선의 선택을 하는 방법은 우리 조직의 요구 사항에 가장 가까운 것을 찾는 것입니다. 관련해 이번 포스팅에서는 온프레미스부터 시작해 하이브리드, 멀티 클라우드 그리고 엣지 컴퓨팅까지 수용할 수 있는 데이터 측면의 인프라와 플랫폼 간소화 방안을 NetApp AI 컨트롤 플레인을 예로 들어 알아보겠습니다. NetApp AI 컨트롤 플레인 둘러보기 AI 프로젝트를 더 효율적이고 신속하게 추진하는 데 있어 인프라와 플랫폼은 눈에 보이지 않을수록 좋습니다. 이게 무슨 말인가 하면 최종 사용자인 데이터 과학자, 개발자, 현업 사용자가 그 존재를 의식하지 않고 원하는 작업을 할 수 있어야 한다는 것입니다. 사용자는 평소 쓰는 Jupyter 노트북 같은 작업 환경에서 원하는 자원을 확보하고, 데이터 파이프라인을 구축하고, 이를 이용해 개발이나 훈련 같이 원하는 작업을 할 수 있어야 합니다. 인프라 관리자나 데이터 엔지니어에게 일일이 지원 요청을 하느라 시간을 허비하지 않고 자신의 작업 환경에서 원하는 일을 하는 것이 모두가 바라는 바입니다. NetApp AI 컨트롤 플레인은 이런 바람을 실현하는 기술이자 도구입니다. NetApp AI 컨트롤 플레인은 Kubeflow, kubeernetes, TRIDENT로 구성됩니다. 이를 이용하면 데이터 과학자와 개발자는 필요 데이터 볼륨을 포함한 컨테이너 환경을 손쉽게 생성해 프로젝트를 진행할 수 있습니다. 이중 TRIDENT가 무엇인지 궁금할 텐데요, 이는 NetApp이 제공하는 도구로 이를 이용하면 영구 스토리지 자원을 쿠버네티스 환경에서 간편하게 프로비져닝 할 수 있습니다. 또한, 쿠버네티스 API를 이용해 데이터 과학자나 개발자가 직접 데이터 볼륨 클록 생성, 스냅샷 카피 생성 같은 데이터 관리 작업을 할 수 있습니다. 훈련을 마친 AI/ML 모델이 담긴 데이터 볼륨을 스토리지 담당자 도움 없이 데이터 과학자나 개발자가 직접 복제해 A/B 테스트 같은 작업을 할 수 있는 것이죠. NetApp AI 컨트롤 플레인의 활용 가치는 데이터 패브릭 환경이 복잡할수록 높아집니다. 온프레미스 환경부터 클라우드와 엣지 컴퓨팅에 이르는 하이브리드, 멀티 환경에 데이터 패브릭이 걸쳐 있을 때 이를 단일 자원으로 묶어 활용할 수 있는 강력한 통합을 이뤄냅니다. 여기에 더해 위치에 구애받지 않고 유연하게 확장이 가능하며, 어떤 곳에 있는 데이터 볼륨이건 필요한 곳으로 매끄럽게 이동할 수 있습니다. 경계를 넘어선 확장성, 이동성의 이점을 제공하는 것이죠. 가령 훈련을 마친 모델을 엣지에 배포할 경우 엣지에서 데이터 수집과 처리가 이루어집니다. NetApp AI 컨트롤 플레인은 엣지 환경을 위한 데이터 서비스를 생성하고, 필요시 빠른 데이터 이동을 보장합니다. 데이터센터의 경우 모델의 훈련과 최적화가 이루어지는 것을 고려해 최적의 I/O 성능을 보장하기 위한 데이터 흐름을 제공합니다. 클라우드 환경은 콜드 스토리지 운영이나 백업 및 장기 보관 목적으로 AI 프로젝트에 사용하는 데이터를 보관하는 데 활용합니다. 이런 시나리오는 클라우드 서비스 제공자도 많이 이야기합니다. NetApp AI 컨트롤 플레인은 클라우드 사업자와 확실한 차별점을 제공하는데요, 바로 엔터프라이즈 수준의 데이터 관리 기능입니다. 데이터 볼륨이 어디 있건, 어디서 어디로 복제를 하건 신뢰할 수 있습니다. 이상으로 NetApp AI 컨트롤 플레인을 적용할 때 얻을 수 있는 데이터 인프라와 플랫폼 측면에서의 간소화 이점을 살펴보았습니다. #NetApp_AI_컨트롤_플레인 #NetApp_AI_Control_Plane #AI_이니셔티브 #Jupyter_노트북

2021년 7월 14일 IIJ(PTC)의 자회사인 PTC System이 AI 통합 허브(AI Integration Hub) 솔루션을 출시하였습니다. 이 솔루션은 AI 기술을 활용해 복잡한 비즈니스 과제와 문제를 풀고자 하는 조직을 위해 마련되었습니다. PTC System의 AI 통합 허브는 크게 서버와 스토리지로 구성되는 턴키 방식의 솔루션입니다. AI 통합 허브의 서버는 NVIDIA DGX A100 시스템이 활용됩니다. 그리고 스토리지는 NetApp ONTAP AI가 적용됩니다. 이렇게 구성한 이유는 조직의 AI 애플리케이션 개발과 배포를 더욱 신속하고 효율적으로 할 수 있도록 돕기 위해서입니다. 이 구성은 강력함과 유연성이 돋보입니다. 이는 NVIDIA DGX A100 서버의 강력한 성능과 NetApp의 클라우드 연결 가능한 올플래시 스토리지 조합에서 나옵니다. 이 조합이 창출하는 시너지는 매우 구체적입니다. 머신 러닝, 딥러닝 모델 훈련, 추론을 위한 데이터 파이프라인을 간소화하고 손쉽게 확장하고 통합할 수 있습니다. 이런 기술적 특징에는 중요한 맥락이 담겨 있습니다. 바로 데이터센터에서 엣지까지 매끄러운 연결에 유리한 아키텍처를 손쉽게 구현할 수 있다는 것입니다. PTC에 따르면 AI 통합 허브로 AI 또는 HPC 환경을 구축하면 NVIDIA CUDA나 CUDA-X 기반으로 소프트웨어 스택의 이점을 극대화할 수 있다고 합니다. AI 모델 개발, 훈련, 추론 작업 속도를 끌어 올릴 수 있는 인프라를 사전에 최적화된 형태로 제공하기에 가능한 효과라 볼 수 있습니다. 이런 효과는 데이터센터에만 국한되지 않습니다. PTC는 AI 통합 허브는 엣지 컴퓨팅에도 적합하다고 밝혔습니다. AI 기반 IoT 앱 배포와 운영을 위한 엣지 컴퓨팅 환경 구축에도 AI 통합 허브가 유용하게 쓰인다는 것이죠. PTC는 AI 통합 허브가 실제로 조직의 AI 채택을 간소화한다고 말합니다. AI 이니셔티브를 실행으로 옮기는 데 필요한 기반을 즉시 마련할 수 있다는 것이 PTC System이 밝힌 AI 통합 허브의 개발 배경이자 고객 가치입니다. PTC는 AI 통합 허브를 싱가포르 및 아시아 태평양 지역 고객을 위해 제공할 계획입니다. 관련해 첫 레퍼런스 확보가 이미 진행 중입니다. PTC가 회원으로 참여하고 있는 SMARTLAB(SMART Urban Co-Innovation Lab) 관련해 레퍼런스가 나올 것으로 보입니다. 현재 SMARTLAB은 동남아시아 지역을 대상으로 스마트 도시 솔루션 개발과 적용을 진행하고 있습니다. SMARTLAB은 첨단 제조, 디지털 웰빙, 지능형 부동산, 스마트 모바일, 지속 가능한 도시, 도시 농업 등의 분야에서 디지털 전환 방안을 마련 중입니다. 관련 프로젝트에서 AI 통합 허브는 중요한 역할을 할 것이라고 PTC는 밝혔습니다. 인프라 구축과 AI 모델 개발, 훈련, 추론을 위한 소프트웨어 환경 마련에 시간을 허비하지 않고 시행착오를 줄일 수 있다는 것은 AI 이니셔티브를 준비 중인 모든 조직이 바라는 것입니다. 왜 그렇다면 한국에서는 이런 혜택을 누릴 수 없는 것일까요? 유클릭이 곧 공개할 솔루션을 기대해 주십시오. 오랜 기간 동안 국내 주요 기업, 연구소, 대학의 AI 인프라 구축을 통해 쌓은 노하우를 바탕으로 사전 최적화된 통합 AI 인프라와 플랫폼 아키텍처를 반영한 솔루션이 곧 공개됩니다. 이 내용은 별도 포스팅과 자료를 통해 안내해 드리겠습니다. #PTC #AI통합_허브 #SMARTLAB #NVIDIA_DGX_A100 #NetApp_ONTAP_AI #AI_Integration_Hub