타이밍은 특히 고객 경험, 수익 및 생산 효율성에 영향을 미칠 때 가장 중요합니다. Edge AI는 간헐적, 저대역폭, 저비용 환경에서 실시간 인텔리전스와 향상된 개인정보 보호를 제공함으로써 도움을 줄 수 있습니다. 가트너에 따르면 2025년까지 데이터의 75%가 기존 데이터 센터 또는 클라우드 외부의 엣지에서 생성되고 처리될 것입니다. 1 수천 개의 기업이 비즈니스 혁신을 주도하기 위해 엣지 AI로 눈을 돌리고 있는 것은 놀라운 일이 아닙니다.
조직이 이러한 변화를 겪으면서 많은 IT 및 비즈니스 리더는 여전히 에지 컴퓨팅 전략을 계획하고 실행하는 초기 단계에 있습니다. Edge AI는 새로운 개념이기 때문에 많은 사람들에게 프로세스가 어렵습니다. 조직, 고객 및 파트너가 에지 AI 솔루션을 성공적으로 배포할 수 있도록 지원한 풍부한 경험을 갖춘 선도적인 AI 인프라 회사인 NVIDIA는 이러한 새로운 개념에 익숙합니다. 다른 사람을 돕기 위한 노력의 일환으로 이러한 경험에서 얻은 학습 내용과 권장 사항은 IT 관리자 가이드: Edge AI 솔루션을 성공적으로 배포하는 방법에 나와 있습니다. 이 백서는 성공적인 에지 AI 배포를 구축하고 실행하는 방법에 대한 심층적인 정보를 제공합니다. 가이드 북의 주요 내용은 간략히 알아보겠습니다.
에지 시스템 구성: 설계 권장 사항
시스템 크기를 결정할 때 고려해야 할 많은 매개변수가 있습니다. 최적의 PCIe 서버 구성은 해당 서버의 대상 워크로드에 따라 다릅니다. Edge AI 모델은 비전 AI, 자연어 처리, 산업용 센서 기반 추천, 예측 분석과 같은 다양한 워크로드를 애플리케이션에 통합합니다.
에지 컴퓨팅 크기 조정 고려 사항
에지에서 전체 하드웨어 및 소프트웨어 솔루션을 설계할 때 부분이 함께 작동하는 방식을 이해하기 위해 전체 솔루션을 살펴보는 것이 중요합니다. 다음은 IT가 에지 AI 배포를 위해 평가해야 하는 개별 고려 사항 중 일부입니다.
스트림 수 : 각 카메라 피드는 처리를 위해 일정량의 메모리와 컴퓨팅이 필요한 스트림입니다. 6-7 비디오 처리 스트림의 소규모 구성에는 상대적으로 작은 시스템이 필요합니다. 대규모 배포에는 일반적으로 데이터 센터에서 볼 수 있는 고성능 시스템이 필요할 수 있습니다.
애플리케이션 예시 : 성공적인 에지 AI 배포를 위한 첫 번째 단계 중 하나는 목표를 달성하기 위해 실행해야 하는 워크로드를 이해하는 것입니다. 이미지 인식, 사람 또는 차량 감지, 세분화와 같은 Vision AI 애플리케이션은 모두 일반적인 사용 사례입니다.
애플리케이션이 결정되면 의도한 규모를 이해하는 것이 중요합니다. 예를 들어 추가 AI 모델이 필요합니까? 일반적으로 개념 증명(POC)은 단일 AI 모델과 사용 사례로 구성되지만 대부분의 프로덕션 배포에는 궁극적으로 여러 AI 모델이 통합됩니다. 다음 단계에는 애플리케이션의 비즈니스 가치 정량화, 환경적 제약 조건 지정, 이해관계자 조정 확보가 포함됩니다.
메모리 : 에지 AI 솔루션의 리소스를 부족하게 만드는 가장 일반적인 방법은 메모리가 너무 적은 에지 시스템을 구성하는 것입니다. Edge AI 시스템은 CPU와 GPU에서 추론 엔진의 병렬 실행을 지원하기 위해 다른 애플리케이션보다 훨씬 더 많은 메모리를 필요로 합니다.
AI를 교육한 데이터 과학 팀 또는 애플리케이션 공급업체는 최신 모델의 메모리 요구 사항을 알게 됩니다. IT 팀은 모델이 재교육되면서 필연적으로 확장되는 모델을 수용하기 위해 최소한 그 수를 두 배로 늘려야 합니다. 이것은 또한 첫 번째 모델과 함께 배포해야 하는 추가 AI 모델을 위한 약간의 헤드룸을 제공합니다. 또 다른 경험 법칙은 총 GPU 메모리보다 2배 더 많은 시스템 메모리를 프로비저닝하고 총 GPU 메모리의 1.5배보다 작지 않게 프로비저닝하는 것입니다. 메모리는 최적의 성능을 위해 모든 CPU 소켓과 메모리 채널에 고르게 분산되어야 합니다.
네트워킹 : 운영이 에지 컴퓨팅과 같은 디지털 기술에 점점 더 의존함에 따라 탄력성이 핵심입니다. 에지 솔루션을 설계할 때 고려해야 할 두 가지 네트워크가 있습니다. 에지 AI 위치와 클라우드 사이의 네트워크와 센서와 에지 AI 시스템 사이의 네트워크입니다.
환경의 네트워크 연결 유형을 이해하면 사용 사례에 대한 특정 네트워킹 대역폭 요구 사항을 결정하는 데 도움이 됩니다. 예를 들어 무선 연결이 불가능할 수 있는 로봇 공학과 같은 사용 사례의 경우 5G는 최소한의 혼잡과 보장된 서비스 및 대역폭을 제공하므로 차선책입니다.
가속기 : 대부분의 에지 애플리케이션은 단일 소켓 x86 또는 Arm CPU에서 적절하게 실행됩니다. 그러나 에지 애플리케이션이 AI 기능을 통합하면 훨씬 더 컴퓨팅 집약적입니다.
에지에서 추론 엔진을 실행하려면 에지 하드웨어에 대규모 병렬 계산으로 복잡한 신경망을 실행할 수 있는 충분한 컴퓨팅 성능이 필요합니다. CPU는 신경망의 모든 독립 셀을 순차적으로 실행하는 반면 신중한 가속기는 병렬로 실행할 수 있습니다. 따라서 가속기는 구조적으로 AI에 적합하여 의미 있게 더 나은 성능을 제공합니다. 그들은 현대 AI 인프라의 필수 구성 요소가 되었습니다.
에지 AI를 위한 가장 효과적인 개별 가속기 중에는 그래픽 처리 장치(GPU)와 데이터 처리 장치 (DPU)가 있습니다.
스토리지 : 당연히 에지 서버에는 운영 체제, 네트워크 구성 요소, 하드웨어 드라이버 및 응용 프로그램 소프트웨어를 위한 로컬 스토리지(일반적으로 솔리드 스테이트 하드 드라이브)가 필요합니다. 다른 애플리케이션과 달리 에지 AI 솔루션은 일반적으로 이미지, 음성, 센서 판독값과 같은 방대한 양의 구조화되지 않은 입력 데이터를 처리합니다. 저장해야 하는 데이터의 양, 기간, 보안 수준 및 안정성 수준에 따라 다양한 스토리지 옵션이 필요합니다.
에지 AI 솔루션에 필요한 스토리지를 결정하는 첫 번째 단계에서는 IT 팀이 데이터 전략을 충분히 생각해야 합니다. 데이터 전략은 로컬 또는 클라우드에 저장해야 하는 데이터의 양과 데이터를 지시하고 특정 솔루션에 가장 적합한 스토리지 옵션을 안내합니다. 능동적 전략이 없으면 개발자는 종종 일관성이 없고 차선책을 선택하여 향후 문제를 야기합니다.
보안 : 에지 AI 컴퓨팅 장치는 데이터 센터 방화벽 외부의 원격 위치와 시스템에 대한 액세스를 제한하는 물리적 보호 장치에 배포되므로 보안이 가장 중요합니다. 자세한 내용은 에지 컴퓨팅: 보안 설계자를 위한 고려 사항을 참조하십시오. 엣지 AI 솔루션과 관련하여 엔드 투 엔드 암호화, 상호 인증, 물리적 보안, 제로 트러스트 네트워킹 및 실시간 모니터링의 다섯 가지 영역을 이해하고 전체 솔루션 아키텍처의 일부로 만들어야 합니다.
관리 : 원격 관리 계획은 에지의 시스템이 분산되고 항상 켜져 있으며 종종 원격 설정에서 작동하기 때문에 에지 환경에 매우 중요합니다.
이상으로 문서의 하이라이트를 정리해 보았습니다. 자세한 내용은 에지에서 원격으로 운영 체제 및 애플리케이션을 참조하십시오 .