오픈AI의 Chat GPT나 구글 Bard 같은 서비스를 이용하는 이들이 선호하는 조합은? 아마 생성 모델에 검색을 더하는 조합으로 답을 받는 것입니다. 거대 언어 모델(LLM)만 이용할 때보다 답변에 대한 신뢰감(?)이 더 들기 때문이 아닐까요.
관련해 사전 훈련을 마친 LLM 또는 Small LLM을 보유한 데이터를 활용해 파인튜닝하여 고객 또는 조직원을 위한 생성형 AI 기반 서비스를 제공하고자 할 때 RAG 적용 시 참조할 만한 NVIDIA의 생성형 AI 워크플로우를 소개하고자 합니다.
참고로 NVIDIA는 주요 산업/도메인에서 LLM 기반 서비스 구현을 간소화할 수 있는 NVIDIA AI 워크플로우를 제공합니다. 이 참조 워크플로우의 하나로 NVIDIA는 생성형 AI 워크플로우도 제공합니다.
RAG란?
RAG(Retrieval Augmented Generation)는 자연어 처리(NLP)와 머신 러닝(ML) 분야에서 사용되는 기술로, 특정 문제에 대한 답 생성을 위해 정보 검색과 생성 모델을 결합한 방법입니다. 이 방식은 검색과 생성 단계로 구성됩니다.
먼저 검색 단계에서 RAG는 주어진 질문이나 프롬프트에 대한 관련 정보를 찾기 위해 대규모의 데이터베이스나 문서 집합에서 정보를 검색합니다. 이 검색 과정은 관련성이 높은 정보를 찾아내어 문제 해결에 사용될 수 있는 문맥을 제공합니다.
검색된 정보를 바탕으로, RAG는 GPT-3 같은 텍스트 생성 모델을 사용하여 구체적인 답변이나 내용을 작성합니다. 이 과정에서 모델은 검색된 정보와 함께 주어진 질문이나 명령을 고려하여 적절한 답변을 합니다.
RAG의 주요 장점은 더 정확하고 상세한 답변을 제공할 수 있다는 것입니다. 검색을 통해 얻은 구체적인 정보를 활용하여 모델이 더 정확하고 신뢰성 있는 답변을 하는 것을 돕습니다. 이러한 접근 방식은 특히 지식 기반 질문 응답 시스템, 챗봇, 정보 검색 시스템 등 다양한 NLP 응용 분야에서 유용하게 활용됩니다.
NVIDIA의 생성형 AI 워크플로우를 참조해 RAG를 반영한 챗봇 구현
NVIDIA의 AI 워크플로는 복잡한 AI 기술을 쉽고 효율적으로 사용할 수 있는 방법을 제공합니다. 이 워크플로는 기업이 자체적으로 AI 솔루션을 만들 때 필요한 지침을 제공합니다. 이 시스템은 Docker Compose를 사용하여 개발자 환경에서 실행되며, 클라우드나 온프레미스 환경에서 배포할 수 있습니다. 워크플로의 주요 구성 요소는 다음과 같습니다.
NVIDIA NeMo 프레임워크: 이는 AI 모델을 구축, 사용자 정의 및 배포하는 데 사용되는 클라우드 기반 도구입니다. 이 프레임워크는 기존의 모델을 사용자의 필요에 맞게 조정할 수 있도록 도와줍니다.
NVIDIA TensorRT-LLM 최적화: TensorRT-LLM은 모델의 추론 속도를 높이고 GPU 사용을 최적화하는 데 도움을 줍니다. 이를 통해 동일한 하드웨어에서 여러 모델을 실행할 수 있는 유연성이 제공됩니다.
NVIDIA Triton 추론 서버: 이 서버는 AI 모델의 추론을 효율적으로 실행하는 데 사용됩니다. 이를 통해 빠르고 비용 효율적인 AI 추론이 가능합니다.
NVIDIA의 AI 워크플로우 중 하나인 생성형 AI 워크플로우 중 RAG 챗봇 부문은 크게 두 파트로 나눌 수 있습니다.
문서 수집 및 검색: 여기서는 관련 데이터를 수집하고, 이를 AI 모델에 적합한 형태로 변환합니다. 이 데이터는 다양한 형태(예: 제품 사양, 재무 문서 등)로 나타날 수 있습니다.
사용자 쿼리 및 응답 생성: 사용자의 질문을 AI 모델이 이해할 수 있는 형태로 변환하고, 이를 바탕으로 적절한 응답을 생성합니다.
이 워크플로우는 다양한 NVIDIA AI 도구를 사용하여 챗봇을 사용자 정의하고 배포하는 방법을 보여줍니다. 또한, 워크플로우에는 대화형 챗봇 웹 애플리케이션과 API 호출을 통한 요청 처리 기능도 포함되어 있어 실제 환경에서의 테스트가 용이합니다. 정리하자면 NVIDIA의 AI 및 생성형 AI 워크플로우는 기업이 자체적인 AI 솔루션을 쉽게 만들고, 관리하며, 배포할 수 있도록 지원하는 포괄적인 도구와 가이드를 제공합니다.
소개한 참조 워크플로우 구현에 대한 더 자세한 내용은 NVIDIA의 기술 문서를 참조 바랍니다.
Comentarios