주소: 서울특별시 중구 퇴계로 286 쌍림빌딩 8/9층 (주)유클릭 디지털 트랜스포메이션 사업본부

전화: 02-6320-0121

© 2030 by uDNA & Uclick

GPU당 6개의 포트가 장착된 LVLink 대역폭을 극대화하는 비밀은 2세대 NVSwitch 칩 기반 스위칭에 있습니다. 이 기술은 DGX 시스템에 내장된 여러 개의 Teslas GPU가 마치 하나처럼 동작하게 만드는 핵심입니다.

NVSwitch 소개에 앞서 먼저 NVlink를 간단히 알아보겠습니다. NVLink는 여러 개의 GPU를 연결할 때 쓰이는 네트워크 인터페이스로 PCIe와 비교할 때 10배 더 많은 대역폭을 제공합니다.

 

이 네트워크 솔루션을 이용하면 GPU들을 하이브리드 큐브 메쉬(Hybrid Cube Mesh)라고 불리는 형태로 상호 연결을 할 수 있습니다. DGX-1의 경우 8개의 GPU가 들어가는데, 8개 GPU가 마치 하나의 자원처럼 성능을 내는 비결이 바로 여기에 있습니다. 참고로 DGX-2는 8개 GPU가 장착된 베이스보드가 2개 들어가는데, 베이스보드가 달라도 성능 저하 없이 연결이 가능합니다.

 

물리적으로 다른 보드 간 연결까지 대역폭과 성능 보장이 가능한 이유가 바로 NVSwithc 기술입니다. 2개의 GPU를 연결할 때 LVLink를 이용하면 10배 더 큰 대역폭을 통해 연결이 가능합니다.

 LVLink 포트만 있으면 되는 것 아닌가? 왜, 내부 자원 연결을 위해 별도의 스위칭 칩이 들어가야 할까? 이런 궁금증이 생길 것입니다. 이는 다음 그림을 통해 간단히 이해할 수 있습니다. GPU를 2개 서로 연결할 때 모든 포트를 다 쓰면 최대  대역폭을 확보할 수 있습니다. 하지만 2개 이상 복수의 GPU를 연결한다면? 포트와 포트의 직접 연결만으ㅡ로는 한계가 생깁니다. 이런 이유로 GPU 자원 간 연결의 중심에 스위칭을 전담하는 기능을 넣는 것입니다. 

스위치 칩당 18개의 NVLink 포트를 연결

이제 NVSwitch를 간단히 알아보겠습니다. NVSwitch의 경우 DGX-2에 장착된 칩은 2세대입니다. 포트당 25GBps로 연결이 가능하며, 칩당 총 900GBps의 양방향 대역폭을 제공하며 쓰루풋은 450GB입니다. 

실제 시스템에서 어떻게 구성되는지 토폴로지 측면에서 살펴보겠습니다. 다음 그림은 DGX-2의 예입니다. 베이스보드에는 8개의 Tesla 32GB GPU가 장착되어 있습니다. 베이스보드에 장착된 GPU들은 NVLink 포트를 통해  6개의 NVSwitch와 연결됩니다. 같은 베이스보드에 있는 GPU 간 통신은 300GBps 대역폭 전체를 활용해 이루어집니다. 다른 베이스보드에 있는 GPU와의 연결도 전체 대역폭을 다 이용할 수 있습니다. 이런 이유로 DGX-2에 장착된 16개의 GPU가 마치 하나처럼 연결되어 동작한다고 말하는 것입니다. 

고대역폭을 이용한 데이터 전송에 따른 에러 걱정 없어

GPU 자원 간 내부 메모리를 공유 자원처럼 접근할 경우 가장 중요한 것은 데이터 무결성 보장입니다. NVIDIA도 이를 의식했는지 데이터 무결성 보장을 위해 CRC(Cyclical Redundancy coding), ECC(Error-correcting codes) 등의 기술을 적용하였습니다. 또한, 기업에서 중히 여기는 보안을 위해 NVSwitch의 라우팅 테이블을 NVIDIA 패브릭 매니저를 통해 중앙집중적으로 하여 이 정도에 대한 애플리케이션 접근에 제한을 둘 수 있도록 했습니다. 

  • 블랙 블로거 아이콘