마누비르 다스(Manuvir Das) NVIDIA 엔터프라이즈 컴퓨팅 담당 부사장이 MIT 테크 리뷰 편집장 매트 호난(Mat Honan)과 함께 MIT 퓨처 컴퓨트에서 기업의 미래와 생성형 AI 및 가속 컴퓨팅이 이미 모든 산업을 어떻게 변화시키고 있는지에 대해 논의한 유튜브 인터뷰 영상의 주요 내용을 정리해 보았습니다. 생성형 AI가 엔터프라이즈 컴퓨팅에 끼칠 영향에 대한 거시적인 방향을 알 수 있는 유익한 인터뷰입니다. 전체 내용은 다음 영상을 참조 바랍니다.
보편적 서비스 or 산업 특화
인터뷰에서 초대형 언어 모델(LLM)에 대한 두 가지 접근법에 대해 이야기합니다. 첫 번째는 전 세계 사용자를 대상으로 하는 OpenAI의 접근법으로 방대한 컴퓨팅 파워와 많은 자원을 필요로 합니다. 두 번째는 산업에 특화된 방식으로 접근하는 것입니다. 요즘 이야기가 많이 나오고 있는 산업 특화 LLM을 떠올리면 됩니다. 이 모델들은 기업이 필요로 하는 특별한 기술과 지식을 배우고 이해하며, 이를 통해 기업이 어떤 것을 해야하고 또한 어떤 것을 하지 말아야하는지를 제어하는 데 중점을 두고 있습니다. NVIDIA는 OpenAI와 같은 '일률적인' 접근법보다 기업에 특화된 접근법에 더 집중하고 있습니다.
NVIDIA는 각 기업이 자체적인 데이터를 이용해 모델을 학습시켜야 하며, 그 모델은 시간이 지남에 따라 발전해야 한다는 점을 강조합니다. 그 이유는 각 기업이 가진 정보가 독특하고 지속적으로 바뀌기 때문입니다.또한, 대부분의 기업은 사전 훈련된 모델(LLM 또는 Small LLM)을 기반으로 자신의 기업에 맞는 데이터와 새로운 기술을 추가로 학습시키는 방식을 활용하며, 이는 비용과 시간을 절약하는 효과가 있습니다. 이런 접근법은 '프롬프트 튜닝'이라는 기술을 활용하여 조직의 필요 맞게 최저고하할 수 있습니다.
환영 문제 해결책
LLM 기반 생성형 AI 모델은 모델 학습 또는 사전에 학습된 모델의 미세 조정을 통해 서비스에 적용됩니다. 이처럼 대내 또는 대외 서비스에 생성형 AI 기능을 접목할 때 기업은 모델이 근거 없이 정보를 생성하는 '환영'과 같은 부적절한 행동을 하는 것을 우려합니다. 이에 대한 해결책으로 NVIDIA가 내놓은 것이 ‘가드레일’입니다. 이 기능은 연구자들과 공급자들이 개방적인 방식으로 자신들의 부분을 구축할 수 있게 하여, 모델의 응답이 적절한지 판단하고 사용자로부터 부적절한 출력을 보호합니다.
에너지 효율
AI 인프라는 강력한 성능을 내는 만큼 전력 소비도 많이 합니다. NVIDIA 같은 기업에게 에너지 효율을 높이는 것은 성능을 개선하는 것만큼 중요한 일입니다. NVIDIA는 자사의 하드웨어를 에너지 효율적이고 환경 친화적으로 유지하려는 노력을 하며, 그러한 목표를 달성하기 위해 GPU 하드웨어와 소프트웨어를 통한 '가속 컴퓨팅'을 제공하고 있습니다. 이는 처리 속도를 수천 배 향상시키는 기술로, 이를 통해 운영 비용을 크게 줄이고 에너지 소비를 감소시키는 효과를 가져옵니다.
'가속 컴퓨팅’을 제대로 이해하려면 일반적인 서버와의 차이를 분명히 알아야 합니다. 비록 NVIDIA의 GPU가 포함된 가속 컴퓨팅 서버가 더 많은 전력을 소비하고 비용이 더 많이 든다고 할지라도, 가속 컴퓨팅은 작업을 수행하는 데 훨씬 더 효율적입니다. 전체 컴퓨팅이 가속 컴퓨팅으로 이동해야 하는 이유는 CPU를 사용하는 기존 데이터센터의 확장이 제한적이기 때문입니다. 그 대안으로 가속 컴퓨팅은 GPU를 활용해 더 많은 성능을 낼 수 있습니다.
미래는?
마지막으로 인터뷰 말미에는 LLM 모델이 인간의 의도를 더 잘 이해하게 될 미래에 대해 이야기합니다. 여기서 프롬프트 엔지니어링의 중요성을 강조하며, GPU의 성능 향상도 지속적으로 이루어질 것이라 전망합니다. 또한, 지속 가능성 측면에서 새로운 기술의 탐색도 이어질 것이라는 의견을 밝힙니다.
