오늘은 외신에 나온 이야기를 간단히 해보려 합니다. 주제는 "하둡은 죽었다?"입니다. 관련해 이런저런 말들이 많이 나오고 있죠. 관련해 데이터나미에서 2020년 빅 데이터 관련해 업계 전문가의 의견을 물어 정리한 기사를 내보냈습니다. 이 내용을 읽어 보면 고개가 끄덕여집니다. 시대의 변화 앞에서 영원할 것 같던 하둡도 변화의 흐름에 몸을 맡겨야만 한다는 사실을 이 기사는 짚어내고 있습니다.
2020년 우리는 하둡을 어떤 시각에서 바라봐야 하는가?
이 글에 등장하는 전문가들의 의견은 한 쪽으로 결론이 모입니다. 하둡 스토리지는 죽었지만, 하둡 컴퓨트 영역은 여전히 강력하다는 것입니다. 여기에 담긴 뜻은 HDFS는 더 이상 빅 데이터 저장의 선호 대상이 아니지만, 아파치 스파크에 대한 수요는 앞으로도 강력하다는 것입니다.
이런 전망의 이유도 설득력이 꽤 있습니다. 하둡 생태계에서 HDFS가 사라질 것이라 보는 이유는 HDFS 인프라 구성과 관리는 너무나도 복잡하고 어렵기 때문이죠. 반면에 스파크의 밝은 미래는 데이터 관련 기업의 수요가 '실시간' 쪽으로 가고 있다는 것에서 찾을 수 있습니다.
HDFS의 빈자리는 무엇이 메울 것인가?
그렇다면 HDFS의 자리는 누가 차지할까요? 클라우드 기반 오브젝트 스토리지라고 보고 있는 듯합니다. 이와 함께 쿠두 역시 HDFS의 부족함을 메우기 위한 구원 투수 역할을 할 전망입니다. 빅 데이터 프로젝트 관련 소식들을 가만히 보면 HDFS는 더 이상 고집하지 않죠. 빅 데이터 처리와 저장에 있어 임팔라와 쿠두 조합을 많이들 보고 있습니다. 하둡의 미래 어떻게 생각하시나요? 아래 원문을 통해 전문가들의 견해를 읽어 보시고, 한번 생각해 봐야 할 주제가 아닐까 싶네요.
또 다른 주제: MariaDB Platform X4
HDFS 이야기만 하기 좀 아쉽네요. 그래서 마리아DB 소식도 간단 정리해 올립니다. 마리아DB는 최근 네이티브 클라우드 플랫폼인 MariaDB Platform X4를 공개했습니다. 마리아DB가 단단히 마음먹고 클라우드 시장에 출사표를 본격적으로 던진 것이라 봐야겠죠. 관련해 마리아DB는 '스마트 트랜잭션(Smart Transaction)'이란 개념도 들고 나왔습니다.
스마트 트랜잭션은 아주 단순한 개념입니다. 돈을 지불하는 트랜잭션, 자금 이체 트랜잭션, 각종 서비스에 대한 예약 및 확인 트랜잭션 등 각종 데이터 처리를 실시간에 가깝게 하는 것입니다. 실시간에 가까운 데이터 처리와 분석을 바탕으로 그동안 우리가 뭔가를 위해 기다려왔던 시간을 없애 더 나은 고객 경험을 제공하는 것이 마리아DB가 말하는 스마트 트랜잭션입니다.
스마트 트랜잭션을 보장하기 위해 클라우드 네이티브 하게 아키텍처를 최적화한 것이 바로 MariaDB Platform X4입니다. 이 플랫폼은 트랜잭션과 분석 엔진을 하나로 통합해 탑재하고 있습니다. 이 플랫폼을 클라우드 네이티브라 부르는 첫 번째 이유죠. 두 번째 이유는 아키텍처입니다. 이 플랫폼이 클라우드에 최적화된 아키텍처를 채용하고 있다는 것이 거창하게 들릴 수 있지만 Amazon EBS, Azure Manged Disk, Google Persistant Disks 등의 블록 스토리지 서비스 환경과 Amazon S3, Azure Blog Storage, Google Cloud Storage 같은 오브젝트 스토리지 환경 모두에서 잘 돌아가게 만들었다 ~ 뭐 이 정도로 이해하면 될 듯합니다.
더 자세한 내용은 데이터 시트를 참조 바랍니다.