2023년 일곱번째 도서 리뷰 "데이터 메시"

"한빛미디어<나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

이번에도 지난번과 마찬가지로 사내 스터디에 도움이 될만한 책으로 서평 도서를 골라보았다.

하둡 시스템 구성과 시각화까지 서비스하는 업무가 메인인 회사에서 빅데이터의 다음 행보에 관한 내용은 상당히 중요하고 그에관한 도서라면 충분히 향후 업무에 도움이 될 것이라 생각 했다.

데이터 메시(메쉬가 맞지 않나?)를 설명하려면 기존의 데이터를 다루거나 관리하는 방식에 대해서 한번 볼 필요가 있을것 같다.

예전, 지금도 많이 사용하고 있는 RDBMS 를 기반으로 하는 데이터베이스는 모든 데이터를 한곳에 모아 관리하며, 로우데이터(?)나 살짝 가공된 운영데이터를 관리 하는것에 중점을 두고 있다고 생각한다.

통계등의 분석은 그때그때 어플리케이션들이 데이터를 가지고 와서 생성하여 사용자에게 제공하고 있다.

빅데이터 시스템의 경우....(사실 회사 주 업무가 하둡기반 빅데이터 시스템 운영 및 유지보수 이긴 하지만 내 업무 중 이쪽 업무 비중은 매우 낮은 편이다.) 어떤 데이터를 수집하고 사용하는지에 따라 다르겠지만 현재까지 대부분의 경우에는 기존 RDBMS때와 마찬가지로 중앙집중식으로 데이터를 관리하고 있다고 보는것이 맞을 듯 하다.

아무래도 기존 설계방식을 따르면서 데이터의 종류와 양만 어마어마 하게 늘어난게 현재 대부분의 빅데이터 시스템 이다 보니...

내가 본게 그런게 다라서 그런가...여튼...

데이터메시는 기존과 반대로 설계를 한다.

업무 도메인 별로 각 도메인별 데이터를 직접 관리하고 필요한 경우 데이터를 주고 받으며 사용한다.

로우 데이터나 운영 데이터 보다는 분석 데이터에 중점을 두고...운영 한다고 하는데 사실 직접 해보진 않아서 정확하게 와 닿지는 않았다.

이 책은 프롤로그를 반드시 읽어 보기를 추천한다.

가상의 음악 및 오디오 스트리밍 회사인 다프라는 회사에서 데이터 메시를 구현하여 사용하는 내용으로 데이터 메시의 전반적 개념과 운영 방법 등에 대해서 얘기를 시작 하고 있다.

사실 프롤로그 까지만 읽어도 데이터 메시가 무엇인지, 어떻게 이루어 지는지에 대한 어렴풋한(?) 개념은 잡을 수 있었던 것 같다.

프롤로그에서 다프라는 회사가 기존에 데이터를 다루는 방식에서 데이터 메시로 전환 하면서 어디가 어떻게 달라 졌는지, 어떤 방식으로 변화 하였는지를 설명하며 데이터 메시에 대한 이야기를 해 주고 있다.

이후 부터는 본격적으로 데이터 메시를 설명하고있다.

1~5부까지 나누어져 있는데 각각 소개 하면 다음과 같다.

1부 - 데이터 메시란

데이터 메시를 요약하고 데이터 메시의 네가지 원칙에 대하여 설명하는 내용이다. 뒤에 나오는 내용들에 비해 가장 이론적인 내용이 아닐까 싶다.

2부 - 왜 데이터 메시인가

비즈니스의 변화에 따른 전략적 이유로 기존의 데이터에 접근 하는 방식에서 데이터 메시로 바뀌어야 하는 이유를 설명하는 내용이다.

예전보다 비즈니스의 복잡도나 변동성이 증가 했다는 것에 그 이유를 두고 있다.

책 전체에서 가장 많은 비중을 차지하는 내용이다.

3부 - 데이터 메시 아키텍처의 설계 방법

말 그대로 아키텍처의 설계에 관한 내용을 다루고 있다.

중앙집중식에서 도메인별로 나누어 관리 하는 방법으로 바뀌기 때문에 당연히 아키텍쳐 설계에 대한 내용을 다루는 것 같다.

4부 - 데이터 프로덕트 아키텍처의 설계 방법

앞에서도 설계를 다루었는데 다시 설계 방법 이라고 나와서 의아할 수 도 있을듯 하다.

앞에서의 설계는 데이터 메시에 대한 설계이고 4부에서 다루는 내용은 데이터 프로덕트의 설계이다.

데이터 메시에서는 데이터의 제품화? 에 대한 이야기를 하고 있다.

중앙집중 식으로 데이터를 관리 하지 않고 도메인 별로 관리를 하기 때문에 다른 도메인에서 필요로 하여 데이터를 제공 하는 경우에 대한 데이터를 데이터 프로덕트라고 표현 하는 것 같았다.(늙어서 그런가 요즘 뭘 한번에 이해 하는게 잘 없는거 같다 ㅠㅠ)

따라서 데이터의 관리를 위한 설계가 아니라 데이터를 소비 하기 위한 설계라고 보면 이해가...(내가 이해 한거 설명해서 이해 시키는게 확실히 힘들구나...)

내용은 데이터의 제공, 소비, 변환, 검색 을 위한 데이터 구성 설계에 대한 것 들이다.

5부 - 새로운 시작

데이터 메시의 도입에 관한 내용이다.

앞서 내용들을 보면 당연히 도입 하는 것이 좋은 것 처럼 보이지만 책에서는 데이터 메시를 도입하기 전에 충분히 고려 해야 할 8가지 항목을 설명하고 있다. (신기술을 적용 하는것이 늘 좋기만 한 것은 아니니까)

그리고 마지막으로 데이터 메시를 위한 조직과 문화에 대한 얘기로 마무리를 짓는다.

이번 책은 특징이 있다면 매 장 마지막에 정리하기라는 내용이 있다.

코드 한줄 없이 이론적인 내용만 다루는 책이라 죽~ 읽다가 보면 크게 기억에 남지 않는 문제가 있다.(나만 그런가?)

그래서 매 장 마지막 정리하기에 있는 요약은 책을 이해하는데 상당히 도움이 되는것 같았다.

먼저 읽고 정리하기를 봐도 괜찮고, 정리하기를 먼저 보고 앞에 내용을 읽어 보는 방법도 괜찮은 것 같았다.

마무리를 하자면...중앙집중식 데이터 관리에서 비즈니스 도메인별로 데이터를 분산하는 데이터 메시라는 새로운 패러다임? 이 등장 했고 그 패러다임에 대한 내용 설명 이라고 하면 정리가 될까 싶다.

이론에 대한 기나긴 설명만 있으면 책을 읽어 내려 가기가 힘들어 지는데 다행이 각 장 마지막 부분에 요약을 잘 해놓아서, 그나마 쉽게? 읽을 수 있었던 데이터에 대한 새로운 개념을 다룬 책이 었던 것 같다.

이제...세미나를 시켜 볼까나...