#TensorRT

Chat GPT나 Bard 부럽지 않은 생성형 AI + 검색’을 조합한 챗봇 구현하기 - NVIDIA의 RAG 챗봇 구현을 위한 참조 - Generative AI 워크플로우

오픈AI의 Chat GPT나 구글 Bard 같은 서비스를 이용하는 이들이 선호하는 조합은? 아마 생성 모델에 검색을 더하는 조합으로 답을 받는 것입니다. 거대 언어 모델(LLM)만 이용할 때보다 답변에 대한 신뢰감(?)이 더 들기 때문이...

조회수 57회댓글 0개

Jetpack 6 등장으로 생성형 AI 모델과 LLM을 엣지(edge)로 배포가 더욱 손쉬워진다!?

Jetpack 6의 출시로 엣지 컴퓨팅 분야에서 생성형 AI 모델과 LLM(대규모 언어 모델)을 사용하는 것이 훨씬 쉬워질 전망입니다. 2020년에 트랜스포머와 암페어 A100 GPU가 소개된 이후, AI 모델의 크기와 지능성이 급격하게...

조회수 231회댓글 0개

기업의 LLM 전략을 가속하는! NVIDIA AI Enterprise와 Anyscale의 통합

NVIDIA와 Anyscale는 거대 언어 모델(LLM)의 생산 배포를 가속화하기 위한 파트너십을 공고히하고 있습니다. 관련해 지난 번에 포스팅을 통해 그 의미를 좀 다루어 봤는데요. 이번 포스팅에서는 조금 더 구체적으로 기술 협력 내용을...

조회수 30회댓글 0개

보안 솔루션 개발의 새로운 길 ‘Morpheus’

사이버 보안 솔루션 개발은 매우 깊은 전문성을 요구합니다. 보안에 대한 이해는 기본입니다. 여기에 하드웨어 측면의 최적화 역량이 필요합니다. 보안 솔루션은 매우 큰 부하를 감당합니다. 특히 실시간으로 오가는 모든 트래픽을 살펴야 하는 경우...

조회수 73회댓글 0개

TensorRT 7 소식: 자연어 처리 관련 트레이닝 & 인퍼런싱 속도 모두 끌어올릴 수 있어 ~

자연어 처리 관련 AI 서비스나 애플리케이션을 개발하는 곳에서 반길 소식이 발표되었습니다. 다름 아니라 NVIDIA의 TensorRT 7을 이용하면 자연어 처리 관련 모델 트레이닝과 인퍼런싱 파이프라인을 가속할 수 있습니다. 사람의 말을...

조회수 154회댓글 0개

NVIDIA AI 소프트웨어, 이제 AWS 마켓플레이스에서도 받을 수 있다! 새로운 GPU 인스턴스도 등장..

최근 AWS re:invent 행사가 열리고 있는데요, 관련해 소식들이 쏟아지고 있습니다. AI 쪽 소식 중 주목할 만한 것 몇 가지 추려 봅니다. 첫 번째 소식은 NVIDIA AI 소프트웨어를 AWS 마켓플레이스에서 선택해 쓸 수 있게 된...

조회수 27회댓글 0개

NVIDIA의 결정! TensorRT Inference Server 오픈 소스로 공개

모델을 만들고 나면 트레이닝을 거치면서 모델 최적화를 합니다. 그러고 나서 할 일은 인퍼런스(Inference) 환경을 꾸리는 것이죠. 실제 운영 환경에 모델을 배포할 때 고려해야 할 것 중 하나는 GPU 자원을 알뜰살뜰하게 잘 활용할 수 있는...

조회수 973회댓글 0개