top of page

AI Workbench를 활용한 파인튜닝! 이렇게 쉽고 간편해도 되나?

생성형 AI(Generative AI)는 비즈니스에 AI를 접목하는 데 있어 무한 상상의 시대를 열고 있습니다. 많은 기업이 솔루션과 서비스를 공개하며 AI 시장의 새로운 활력소 역할을 하는 생성형 AI를 제대로 활용하는 것은 사실 만만한 일이 아닙니다. 특히 조직이 보유한 데이터로 모델을 조정하거나 파인튜닝을 하려면 사전에 살펴야 할 것들이 많습니다.


이런 사전 준비에 대한 고민을 해결할 방법은 없을까? 찾아 보면 늘 답은 있습니다. 생성형 AI 전략을 수립 중이라면 실행 가능한 전략 수립에 있어 NVIDIA AI Workbench가 큰 도움이 될 것입니다. AI Workbench는 파운데이션 모델을 선택하고, 프로젝트 환경을 구축하고, 도메인 특정 데이터로 사전 훈련을 마친 모델을 미세 조정하는 작업을 간소화합니다.


간단히 AI Workbench를 사용하는 방법을 살펴보겠습니다. 본 포스팅에서는 AI Workbench를 GeForce RTX 4090를 장착한 노트북에 설치하였고, 프로젝트 수행을 위해 NVIDIA RTX 6000 Ada 세대 GPU로 구동되는 워크스테이션을 컴퓨팅 환경으로 사용하는 것을 가정해 보겠습니다.



AI Workbench는 자동으로 프로젝트의 환경을 생성하고, Jupyter를 포함한 모든 종속성을 가진 컨테이너를 구축합니다.


미세 조정을 하는 과정을 보겠습니다. Jupyter 노트북에서 다음과 같이 모델에게 우주에 있는 젠슨황 인형 그림을 생성하도록 요청합니다.



모델은 젠슨황을 본따 만든 인형 캐릭터를 본 적이 없기 때문에 다음과 같이 관련 없는 결과를 생성합니다.


이 문제를 해결하기 위해 젠슨황의 인형 이미지 8개 데이터로 모델을 미세 조정한 다음 다시 요청합니다. 그러면 훨씬 더 정확한 결과를 확인할 수 있습니다.


조정을 하였으니 이제 남은 일은 AI Workbench를 사용하여 애플리케이션에 새 모델을 배포하는 것입니다.



살펴본 예제를 보면 자체 데이터로 모델을 조정하는 것이 이렇게 쉬울 수 있을까 싶을 것입니다. Llama 2 70B와 같은 LLM을 다룰 때도 이런 간편한과 편리함은 똑같습니다.

적절한 인프라가 뒷받침된다면 사전 훈련을 마친 LLM도 간편하게 다룰 수 있습니다. 가령 앞서 살펴본 예제보다 훨씬 더 큰 모델인 ChatUSD를 미세 조정한다고 가정해 보겠습니다. 이 모델을 10,000 USD 코드 스니펫과 NVIDIA에서 구축한 거의 30,000 USD 함수로 조정해 훈련하는 시나리오를 지원하려면 8개의 NVIDIA L40S GPU가 있는 서버를 데이터센터나 클라우드에 준비하면 됩니다. AI Workbench를 사용하면 몇 번의 클릭으로 노트북에서 워크스테이션, 데이터센터 또는 클라우드까지 생성형 AI 프로젝트를 쉽게 확장할 수 있습니다.


조회수 27회댓글 0개

Comments


bottom of page