키네티카(Kinetica) 관련해 반가운 소식이 발표되었습니다. 키네티카가 제공하는 Kafka 커넥터가 콘플루언트(Confluent)의 골드 인증을 획득했다는 뉴스입니다. 콘플루언트는 알려진 바와 같이 기업에서 대규모 데이터 처리에 Kafka를 지원 걱정 없이 사용할 수 있도록 돕기 위해 창업한 회사입니다. 하둡 분야에서 클라우데라, 호튼웍스 같은 역할을 하는 기업이라 보면 됩니다.
콘풀루언트 골드 인증은 콘풀루언트의 표준과 요구 사항을 충실히 잘 따른다는 것을 사전에 충분히 검증했다는 것을 뜻합니다.
대규모 실시간 스트리밍 데이터를 단일 플랫폼에서 실시간으로 분석한다!
이번 골드 인증 획득은 여러모로 의미가 큽니다. 현재 많은 기업이 실시간 스트리밍 데이터 처리를 중요 과제로 보고 있습니다. 엣지 컴퓨팅을 통한 새로운 기회 창출에 대한 강한 의지를 바탕으로 IoT 확산, 대규모 실시간 스트리밍 데이터 처리를 첨단 분석을 하고자 하는 것이죠. 이런 의지는 5G 시대의 장밋빛 전망과 맞물려 더 강력해지고 있습니다. 여기에는 5G 시대 무엇이건 앞서야 살아 남는다는 절박함도 베어 있죠.
관련해 데이터 전문가들은 빅 데이터 시대보다 더 큰 규모의 데이터를 어떻게 다룰지 아키텍처 측면에서 고민이 많습니다. Big 보다 큰 Extreme Data 환경에서도 실시간 데이터 처리와 첨단 분석에 대한 요구는 다르지 않기 때문이죠. 오히려 분석 요구가 일부 부서에서 전사로 퍼질 것을 고려하면 분석에 쏠리는 과부하를 어떻게 다룰지 걱정이 앞서는 것이 사실입니다.
그래서 등장한개념이 Active Analytics입니다. GPU 기반 인메모리 데이터베이스를 엔진으로 장착한 키네티카의 Active Analytics 플랫폼은 쏟아져 들어오는 Extreme Data를 실시간으로 분석할 수 있습니다. 데이터 전처리, 분석, 가공 등의 과정 거치느라 몇 날 며칠을 기다리는 것이 아니라 원하는 결과를 실시간에 가깝게 보는 것이죠.
실제로 키네티카의 Active Analytics 플랫폼과 카프카를 커넥터로 연계하면 각종 센서, 모바일 앱, IoT 장치, 소셜 미디어 데이터 등의 스트리밍 데이터를 대상으로 실시간 분석을 수행할 수 있습니다. 이를 통해 고객의 취향을 저격하는 상품이나 서비스 추천을 한다거나, 위치 기반 서비스를 제공한다거나 할 때 담당자가 의사결정을 즉각적으로 내릴 수 있습니다.
이런 시나리오는 금융, 소매, 의료, 제조, 서비스 등 업종을 가리지 않고 공통으로 적용 가능한 것입니다. 관련해 실제 키네티카와 카프카 기반 스트리밍 데이터 수집과 분석 데모를 원한다면 유클릭으로 연락 바랍니다.
참고로 이번 골드 인증을 받은 버전에는 다음 네 기능이 콘풀루언트의 요구에 따라 추가되었습니다.
* Sink 커넥터를 위한 스키마 마이그레이션: 콘플루언트 스키마 레지스트리 도구를 사용해 데이터 스키마의 최근 변경을 추적할 수 있습니다.
* 싱글 메시지 트랜스폼: 아파치 Avro 스키마 지원을 통해 데이터 손실 걱정 없이 카프카 메시지 형식에 변화를 줄 수 있습니다.
* 컨트롤 센터 통합: 콘플루언트 컨트롤 센터를 통해 키네티카 카프카 커넥터를 설정할 수 있습니다. 참고로 키네티카 카프카 커넥터는 REST API로 관리 환경과 연동합니다.
더 자세한 내용은 카프카 커넥터 관련 문서에서 찾아 볼 수 있습니다.
#키네티카 #Kinetica # 빅데이터 #카프카 #Kafka #유클릭 #액티브어낼리틱 #능동적분석 #데이터분석 #ActiveAnalytics #Confluent #호튼웍스 #클라우데라