기업들은 보유하고 있는 대규모 데이터를 활용하여 대규모 언어 모델(LLM)을 훈련하고 파인튜닝하는 데 점점 더 관심을 기울이고 있습니다. 이러한 모델은 비즈니스의 다양한 요구에 맞게 맞춤화되어, 고객 서비스, 제품 개발, 시장 분석 등 다양한 분야에서 활용될 수 있습니다.
그러나 데이터의 질이 열악하거나 편향된 정보를 포함하고 있다면, 이는 편견이나 오해, 심지어는 유해한 결과로 이어질 수 있습니다. 이는 AI의 결정과 예측의 정확도에 영향을 끼쳐 비즈니스에 부정적인 영향을 미칠 수 있습니다.
데이터 레이크하우스를 중심으로 한 데이터 전략 조정??
이러한 문제를 해결하려면 생성형 AI 같이 우선순위 높은 전략을 중심에 놓고 데이터 플랫폼 전략을 구상해야 합니다. 관련해 중요한 역할을 할 것으로 기대를 모으고 있는 것이 있습니다. 바로 데이터 레이크하우스입니다. 데이터 레이크하우스는 대량의 구조화되지 않은 데이터를 효율적으로 저장하고 관리할 수 있는 시스템으로, 데이터의 질과 정확성을 보장하는 데 중요한 역할을 할 수 있습니다. 실제로 데이터 플랫폼 업계는 2023년 생성형 AI가 급부상하는 것에 발맞춰 다양한 접근 방안을 제시하고 있습니다. 눈에 띄는 기업으로 데이터브릭스와 델을 꼽을 수 있습니다.
시장 동향: Databricks의 Lakehouse AI, Dell과 Starburst의 파트너십
데이터브릭스는 Lakehouse AI를 통해 데이터 중심의 생성형 AI 애플리케이션 구축에 주력하고 있으며, 이는 대규모 데이터 관리 및 분석에서 더 효율적인 AI 모델링과 혁신을 가능하게 합니다. 데이터브릭스의 Lakehouse AI는 데이터 레이크하우스 구조를 활용하여 데이터 분석과 AI 모델 훈련을 통합하고, 데이터 처리 및 분석을 더 빠르고 정확하게 수행할 수 있게 지원합니다.
한편, 델은 데이터 쿼리 플랫폼 업체인 Starburst와의 파트너십을 통해 개방형 레이크하우스 플랫폼을 기반으로 한 생성형 AI 전략을 가속화하고 있습니다. 이 파트너십을 통해 델은 Starburst의 분석 소프트웨어와 델의 PowerEdge 컴퓨팅 플랫폼, 그리고 델의 선도적인 스토리지 솔루션을 통합하여, 고객들이 다양한 멀티클라우드 환경에서 분산된 데이터에 더 쉽고 안전하게 접근할 수 있도록 지원할 예정입니다. 이러한 통합된 솔루션은 AI 및 분석 워크플로우와 배포에 필요한 데이터를 빠르고 쉽게 활용할 수 있게 해줄 것으로 보입니다.
데이터브릭스와 델의 이러한 전략은 기업들이 보유한 데이터를 더욱 효과적으로 활용하여 AI 모델을 개발하고 최적화하는 데 도움이 될 것으로 예상됩니다. 이들의 접근 방식은 데이터 기반의 AI 혁신을 가속화하고, 보다 효율적인 데이터 처리와 분석을 가능하게 함으로써 새로운 AI 기술과 애플리케이션 개발을 촉진할 것 입니다.
이상으로 2024년 관심을 모을 것으로 보이는 생성형 AI와 데이터 레이크하우스 전략의 융합 움직임을 간단히 정리해 보았습니다.