데이터 민주주의와 그 필요성

Amplitude blog 포스트와 Forbes의 아티클에 따르면, 데이터 민주주의란 ‘모든 조직 구성원이 개발 지식과 상관 없이(또는 개발팀을 통하지 않고) 데이터를 자신의 업무에 이용할 수 있는 환경을 만드는 것’입니다. 이는 구성원 모두가 데이터 기반 의사 결정을 내릴 수 있는 환경을 만드는 끊임없는 노력입니다. 데이터 민주주의를 실현하기 위해서는 데이터 접근성을 높이는 것이 중요하다고 하는데요. 코딩을 할 줄 몰라도 데이터를 쉽게 추출하고 확인할 수 있는 툴을 도입하고, 데이터에 대한 질문과 요청을 편하게 할 수 있는 문화를 만듦으로써 접근성을 높일 수 있다고 합니다.

알리콘 데이터 엔지니어로 일하며 데이터 접근성을 높이기 위해 이런 저런 구조 만들기를 시도한 이야기를 나누고자 합니다.

데이터 민주주의가 필요하다고 느꼈던 이유는 다음과 같습니다 :

‘어떤 데이터가 있는지 몰라서’ 데이터 기반 의사 결정을 하지 못함
열의가 넘치고 아이디어도 많은 기획자, 마케터 분들이 회사 내에 어떤 데이터가 있는지 몰라서 기획 과정에서 데이터를 활용하지 못하는 것에 안타까웠습니다. 아무래도 개발자 입장에서는 기획자, 마케터가 필요로 하는 것을 그분들보다는 모르기 때문에 먼저 데이터를 제시하기 어려운데, 그 분들 또한 ‘뭐가 있는지 몰라서’ 필요한 것을 데이터팀에게 요청하지 못하는 경우도 있더라고요. 그래서 그 분들이 데이터를 통해 할 수 있는 것들을 마음껏 상상해보셨으면 좋겠다는 생각이 들었습니다.
1의 이유로 데이터팀에게 오는 데이터 요청 내용이 모호함
데이터 (추출 및 분석)요청을 하는 동료분들이 데이터에 대해 잘 모르는 경우, 요청사항이 모호합니다. 예를 들면 “집무실 초대 관련 데이터가 필요해요” 같은 요청이 들어오는 것이죠. 그러면 데이터팀은 되묻습니다 : “전체 초대 횟수요? 인당 평균 초대 횟수요? 인당 초대 unique user 수요? …” 이렇게 요청사항을 명세화 하기 위해 꽤나 긴 미팅을 하는 경우도 있습니다. 데이터팀 입장에서는 안 그래도 데이터 요청이 한꺼번에 쏟아지면 요청 사항을 일일이 파악하는 데에 어려움을 겪고 있었기 때문에 이를 해결할 시스템을 만들어야겠다고 생각했습니다.

데이터 민주주의를 위한 노력

데이터팀에서는 데이터 민주주의를 위해 다음과 같은 노력을 기울였습니다. 사실 데이터 민주주의를 실현하기 위한 체계적 프로세스는 아니었지만… 어쩌다보니 이렇게 끼워맞출 수 있는 구실이 생겼습니다. ㅋㅋ

1. Google BigQuery를 통한 데이터 공개와 관리

알리콘에서는 사내 누구나 데이터에 접근할 수 있도록 Google BigQuery에 일부 DB 데이터를 공개하고 있습니다. DB 데이터가 그대로 업로드 되는 테이블도 있고, 편의성과 개인정보 이슈로 인해 약간의 가공을 거친 테이블도 있습니다.

BigQuery 권한 관리

BigQuery에는 개발자가 아니라면 굳이 보지 않을(?) 웹 로그 데이터셋도 있습니다. 비개발직군 동료분들이 필요한 데이터셋에만 접근할 수 있도록, 그리고 테이블을 임의로 수정 및 삭제하지 못하도록 권한을 따로 부여하였습니다.

BigQuery 간단 사용법 강의

BigQuery를 자주 사용하는 기획자, 마케터, 운영팀 분들을 대상으로 BigQuery 간단 사용법 강의를 열었습니다. 아무래도 이 분들은 데이터를 쿼리로 추출하기보단 엑셀이나 스프레드시트로 확인하시기 때문에, 약 30분정도의 강의에 데이터셋과 테이블 구조 설명, 데이터 다운로드 방법 등을 담았습니다.

BigQuery 테이블 명세서

테이블의 각 컬럼이 무엇을 의미하는지 알려주는 테이블 명세서를 스프레드시트에 만들어서 관리하였습니다. 명세서에는 위 사진처럼 컬럼 설명, 다른 테이블과 join할 수 있는 primary key 정보, 레거시 데이터나 예외 데이터, 자주 쓰는 쿼리문 등을 첨부하였습니다. 또한 테이블 스키마가 변경될 때마다 데이터팀에서 명세서를 업데이트하여 최신의 정보를 유지하도록 했습니다.

실제 사용자들의 사용 현황 파악

BigQuery를 사용하는 동료분들에게 “어떻게 사용하고 있는지, 더 필요한 것은 무엇인지”를 직접 물어보았습니다. “작성해 주신 분들 중 추첨을 통해 스타벅스 기프티콘을 드리겠다”고 회유(!)하였더니, 모두 하루만에 작성해 주셨습니다 ㅎㅎㅎ 엄청 자세하고 성의있게 작성해주신 분들도 있어서 매우 놀랐습니다.

또한 작성된 내용을 바탕으로 동료분들과 추가적인 질의응답을 나누고, 이를 바탕으로 BigQuery 테이블을 보완하였습니다.

2. 데이터 요청 프로세스 수립

데이터 요청 문서 양식을 만들어 배포했습니다. 데이터 요청자가 위의 양식대로 요청사항을 적으면서 무슨 목적으로 데이터를 쓰려고 하는지, 그래서 무엇이 필요한지 스스로 생각할 수 있도록 만들었습니다. 예시 문서와 가이드라인도 첨부하여 처음 데이터 요청을 하는 사람들도 겁먹지 않도록 “친절하게” 만들었습니다(일단 노력은 했습니다..).

노력의 결과

동료들이 데이터를, 데이터로 이야기 하기 시작함

데이터 분석을 통해 얻은 인사이트를 기획에 반영하는 것뿐만 아니라, 데이터의 문제로 업무에 차질이 있다 싶으면 데이터팀(개발자)에게 더 적극적으로 시정을 요청하게 되었습니다(데이터팀의 업무량 증가? 오히려 좋아).

마케터가 ‘고객들이 결제 후 언제쯤 해지 결심을 하는지’를 데이터 분석을 통해 파악한 후 출첵 이벤트를 기획하기도 하였고, 기획자가 활동 분야 데이터의 중복 문제를 제기하여 데이터팀에서 ‘활동 분야 중복 제거 프로젝트’를 기획하기도 하였습니다.

모두가 조금씩 데이터에 관심을 가지는 이런 변화가 장기적으로 고객에게 전달되는 가치를 높일 수 있다고 생각했습니다.

데이터팀(개발자)의 도움 없이 데이터를 활용한 프로덕트를 만드는 기획자 속출

어떤 데이터가 있는지 알게 된 동료분들이 BigQuery에서 데이터를 뽑아다가 요리조리 스까스까 해서 데이터를 활용한 프로덕트를 만들어 업무에 사용하시기 시작했습니다. !!! 저는 이 부분이 굉장히 감동이었는데요. 데이터팀에게 따로 요청 없이 BigQuery를 Looker Studio에 연동하여 기업회원 사용량 리포트를 만들고, BigQuery를 스프레드시트에 연동하여 룸서비스 재고 관리 대시보드를 만들기도 했습니다. (데이터 엔지니어가 모르는 대시보드가 있다? 오히려 좋아)

데이터 요청으로 인한 업무 부담이 적어짐

데이터팀에게도, 데이터 요청자 에게도 요청으로 인한 부담이 줄었습니다. 요청자 입장에서는 요청 양식에 맞게 문서를 작성하기만 하면 되니까 “이걸 이렇게 물어봐도 되나?” 하는 혼란이 줄어들었고, 데이터팀 입장에서는 요청 문서가 비교적 자세히 작성되어 오기 때문에 요청자와 의사소통 하기가 수월해 졌습니다.

또한 요청 히스토리가 남게 되었기 때문에 이전에 있었던 비슷한 데이터 요청을 쉽게 참고할 수 있어 데이터팀의 업무 시간이 줄었습니다.

모두가 ☕️커피 기프티콘☕️을 받고 행복해졌습니다! 🤗

데이터 민주주의로 만든 오히려 좋아 모먼트

데이터 민주주의를 의식하며 업무를 해 온 것은 아니지만, 개발자 입장에서 비개발직군 동료분들에게 어떻게 하면 더 도움이 될 수 있을지를 생각하다 보니 이런 글까지 쓰게 된 것 같습니다. 그리고 제가 한 업무로 동료분들의 업무가 더 수월해 졌다는 피드백을 들으면 그게 참 뿌듯했습니다.

다른 조직에서는 데이터 민주주의를 위해 어떤 노력을 하고 계신지 궁금합니다! 햇병아리 데엔에게 많은 피드백과 재밌는 이야기를 들려주세요. 🙇‍♀️