수퍼컴퓨팅 2019 행사에서 NVIDIA가 Magnum IO라는 소프트웨어를 소개했습니다. 이 소프트웨어는 데이터 과학자의 AI 프로젝트와 다양한 연구 목적으로 HPC를 이용하는 사용자를 위해 마련한 NVIDIA의 선물입니다. 왜 선물이라고 표현을 했냐면, Magnum IO를 이용하면 몇 시간 걸릴 작업이 몇 분으로 줄어들기 때문입니다.
작업 시간을 늘어지게 하는 병목 구간 '스토리지 IO'
Magnum IO는 AI, HPC 워크로드를 처리할 때 성능 병목 구간으로 늘 지목되는 스토리지 IO 병목을 최소화합니다. Magnum IO를 이용하면 멀티 GPU, 멀티 서버 환경에서 복잡한 금융 분석, 기후 모델링같이 무거운 AI, HPC 워크로드의 데이터 처리 속도를 20배 이상 끌어올릴 수 있습니다.
NVIDIA, IBM, Mellanox, WekaIO, Excelero, DataDirect Networks의 협업
Magnum IO가 놀라운 수치의 스토리지 IO 속도 개선을 보여줄 있는 이유는? 네, NVIDIA가 IBM, 멜라녹스 등 업계의 내놓으라 하는 IO 전문가들과 협업을 해 만든 작품이기 때문입니다. Magnum IO의 핵심 요소는 GPUDirect입니다. CPU를 바이패스 하고 GPU가 제공하는 넓고 빠른 메모리와 네트워크 기반 스토리지가 바로 연결되어 데이터를 처리하는 요소라 보면 됩니다. GPUDirect를 적용하면 NVLink, NCCL , OpenMPI, UCX 등의 인터커넥트 API를 이용해 스토리지 IO 병목을 최소화할 수 있습니다.
Magnum IO 소프트웨어에 대한 자세한 내용은 다음 페이지를 참조 바랍니다. GPUDirect 기능이 적용된 스토리지는 2020년 상반기부터 시장에서 만나볼 수 있다고 합니다.
Comments