top of page

Chat GPT나 Bard 부럽지 않은 생성형 AI + 검색’을 조합한 챗봇 구현하기 - NVIDIA의 RAG 챗봇 구현을 위한 참조 - Generative AI 워크플로우


오픈AI의 Chat GPT나 구글 Bard 같은 서비스를 이용하는 이들이 선호하는 조합은? 아마 생성 모델에 검색을 더하는 조합으로 답을 받는 것입니다. 거대 언어 모델(LLM)만 이용할 때보다 답변에 대한 신뢰감(?)이 더 들기 때문이 아닐까요.


관련해 사전 훈련을 마친 LLM 또는 Small LLM을 보유한 데이터를 활용해 파인튜닝하여 고객 또는 조직원을 위한 생성형 AI 기반 서비스를 제공하고자 할 때 RAG 적용 시 참조할 만한 NVIDIA의 생성형 AI 워크플로우를 소개하고자 합니다.


참고로 NVIDIA는 주요 산업/도메인에서 LLM 기반 서비스 구현을 간소화할 수 있는 NVIDIA AI 워크플로우를 제공합니다. 이 참조 워크플로우의 하나로 NVIDIA는 생성형 AI 워크플로우도 제공합니다.


RAG란?


RAG(Retrieval Augmented Generation)는 자연어 처리(NLP)와 머신 러닝(ML) 분야에서 사용되는 기술로, 특정 문제에 대한 답 생성을 위해 정보 검색과 생성 모델을 결합한 방법입니다. 이 방식은 검색과 생성 단계로 구성됩니다.


먼저 검색 단계에서 RAG는 주어진 질문이나 프롬프트에 대한 관련 정보를 찾기 위해 대규모의 데이터베이스나 문서 집합에서 정보를 검색합니다. 이 검색 과정은 관련성이 높은 정보를 찾아내어 문제 해결에 사용될 수 있는 문맥을 제공합니다.

검색된 정보를 바탕으로, RAG는 GPT-3 같은 텍스트 생성 모델을 사용하여 구체적인 답변이나 내용을 작성합니다. 이 과정에서 모델은 검색된 정보와 함께 주어진 질문이나 명령을 고려하여 적절한 답변을 합니다.


RAG의 주요 장점은 더 정확하고 상세한 답변을 제공할 수 있다는 것입니다. 검색을 통해 얻은 구체적인 정보를 활용하여 모델이 더 정확하고 신뢰성 있는 답변을 하는 것을 돕습니다. 이러한 접근 방식은 특히 지식 기반 질문 응답 시스템, 챗봇, 정보 검색 시스템 등 다양한 NLP 응용 분야에서 유용하게 활용됩니다.


NVIDIA의 생성형 AI 워크플로우를 참조해 RAG를 반영한 챗봇 구현

NVIDIA의 AI 워크플로는 복잡한 AI 기술을 쉽고 효율적으로 사용할 수 있는 방법을 제공합니다. 이 워크플로는 기업이 자체적으로 AI 솔루션을 만들 때 필요한 지침을 제공합니다. 이 시스템은 Docker Compose를 사용하여 개발자 환경에서 실행되며, 클라우드나 온프레미스 환경에서 배포할 수 있습니다. 워크플로의 주요 구성 요소는 다음과 같습니다.


  • NVIDIA NeMo 프레임워크: 이는 AI 모델을 구축, 사용자 정의 및 배포하는 데 사용되는 클라우드 기반 도구입니다. 이 프레임워크는 기존의 모델을 사용자의 필요에 맞게 조정할 수 있도록 도와줍니다.

  • NVIDIA TensorRT-LLM 최적화: TensorRT-LLM은 모델의 추론 속도를 높이고 GPU 사용을 최적화하는 데 도움을 줍니다. 이를 통해 동일한 하드웨어에서 여러 모델을 실행할 수 있는 유연성이 제공됩니다.

  • NVIDIA Triton 추론 서버: 이 서버는 AI 모델의 추론을 효율적으로 실행하는 데 사용됩니다. 이를 통해 빠르고 비용 효율적인 AI 추론이 가능합니다.



NVIDIA의 AI 워크플로우 중 하나인 생성형 AI 워크플로우 중 RAG 챗봇 부문은 크게 두 파트로 나눌 수 있습니다.


  • 문서 수집 및 검색: 여기서는 관련 데이터를 수집하고, 이를 AI 모델에 적합한 형태로 변환합니다. 이 데이터는 다양한 형태(예: 제품 사양, 재무 문서 등)로 나타날 수 있습니다.

  • 사용자 쿼리 및 응답 생성: 사용자의 질문을 AI 모델이 이해할 수 있는 형태로 변환하고, 이를 바탕으로 적절한 응답을 생성합니다.


이 워크플로우는 다양한 NVIDIA AI 도구를 사용하여 챗봇을 사용자 정의하고 배포하는 방법을 보여줍니다. 또한, 워크플로우에는 대화형 챗봇 웹 애플리케이션과 API 호출을 통한 요청 처리 기능도 포함되어 있어 실제 환경에서의 테스트가 용이합니다. 정리하자면 NVIDIA의 AI 및 생성형 AI 워크플로우는 기업이 자체적인 AI 솔루션을 쉽게 만들고, 관리하며, 배포할 수 있도록 지원하는 포괄적인 도구와 가이드를 제공합니다.


소개한 참조 워크플로우 구현에 대한 더 자세한 내용은 NVIDIA의 기술 문서를 참조 바랍니다.


조회수 40회댓글 0개
bottom of page