개방형 통합 플랫폼 ‘데이터 레이크하우스’, 데이터 이동·중복 막아

[산업일보]
데이터 사일로(Silo), 데이터 혼재 등으로 기업들이 어려움을 겪고 있다. 특정 부서 내 데이터 정체와 중복 관리로 인해 사업 운영상 효율 감소, 비용 증가 등이 발생해서다.

데이터 관리 일관성이 없다면, 데이터 활용이 쉽지 않을 뿐만 아니라 데이터에 대한 신뢰가 하락한다. 작업자들이 데이터 공유 시 서로 다른 도구를 사용하는 것은 협업 생산성 저하를 가져오기도 한다.

이같은 문제를 해결하기 위해 데이터 레이크(Lake)와 데이터 웨어하우스(Warehouse)를 결합한 플랫폼인 데이터 레이크하우스(Lakehouse)를 도입하는 경우가 있다.

미국 샌프란시스코에 본사를 둔 데이터브릭스(Databricks)는 29일 서울 강남구 삼성동 그랜드 인터컨티넨탈 서울 파르나스에서 기자간담회를 열고, 해당 플랫폼을 소개했다.

장정욱 데이터브릭스 코리아 대표는 데이터 레이크하우스가 데이터 이동과 중복을 막을 수 있는 단일 구조라고 말했다. 클라우드 기반으로 정형, 비정형 데이터를 저장하는 기업들에 “스토리지 레이어를 하나의 플랫폼으로 제공한다”는 설명이다.

오픈 소스 기반을 강조한 그는 기업 내 존재하는 다양한 워크로드(Work Load)나 유즈케이스(Use Case)를 사용자에게 지원한다고 덧붙였다. 데이터 웨어하우징(Warehousing), 데이터 엔지니어링(Engineering), 데이터 스트리밍(Streaming), 데이터 과학(Science)과 머신러닝이 대표적이다.

행사에서는 데이터브릭스 코리아의 올해 전략도 나왔다. 정 대표는 데이터 레이크하우스 비전 확립, 산업별 접근 기반 엔터프라이즈와 디지털 네이티브 부문 내 성장 등을 언급했다.

그는 “신뢰할 수 있는 데이터 플랫폼으로써 많은 고객의 레퍼런스를 확보하고, 고객 내 챔피온과의 관계를 확대하는 게 핵심 전략”이라고 말했다.