데이터 플랫폼에서, 구축보다 오래 걸리는 것이 있습니다 (Cloudera)

Technology Expertise · Cloudera

클러스터는 두 달 걸렸다.
거버넌스는 일 년 걸렸다.

HFC Consulting — Hemingway From Cuba

---

감사팀이 묻는다. "이 데이터, 누가 봤습니까." 보안 담당자가 로그를 연다. 접근 기록이 없다. 권한 체계가 처음부터 없었다. 클러스터는 잘 돌아간다. 누가 무엇을 봤는지는, 아무도 모른다.

구축은 두 달 걸렸다. 그 일을 바로잡는 데는 일 년이 걸렸다. 보안 정책을 다시 짜고, 접근 권한을 다시 나누고, 카탈로그를 새로 만들었다.

엔터프라이즈 데이터 플랫폼에서, 구축보다 오래 걸리는 게 있다. 그 데이터를 누가 보고, 어떻게 관리하느냐다.

우리는 금융사와 물류사의 Cloudera 기반 Data Lake를 직접 구축했다. 클러스터 설계부터, 보안 정책, 거버넌스, 운영 조직 이관까지 했다. 기술적 구성과 조직 안에서 지속되는 조건을, 같이 살펴본다. 그래야 감사팀의 질문에 답이 있다.

우리의 방식

플랫폼의 기술적 완성도는 필요조건이다. 그것을 쓰는 조직과 운영 체계가 갖춰져야, 투자한 만큼의 가치가 나온다.

---

하는 일

클러스터 설계 — NameNode·DataNode 구성, HA 설계, YARN 자원 관리, 데이터 증가를 살펴보고 구축한다.

보안·접근 제어 — Kerberos, Apache Ranger 기반 세밀한 권한 관리. 금융 규제 요건을 반영한다.

데이터 파이프라인 — NiFi·Kafka·Spark 기반 수집·처리. 배치와 실시간을 업무에 맞게 분배한다.

거버넌스 — Apache Atlas로 카탈로그를 구축한다. 계보를 추적한다. 품질을 관리한다.

운영 이관 — 매뉴얼을 쓰고, 담당자를 교육한다. 우리가 철수한 뒤에도 돌아가게 만든다.

---

이런 상황이라면

✓ Cloudera 기반 Data Lake를 신규로 구축하려 한다
✓ 구축은 됐는데, 거버넌스와 품질 관리가 정착되지 않았다
✓ 운영 중인 Cloudera 환경의 클라우드 전환을 검토 중이다

위 세 가지 중 하나라도 해당된다면, 지금이 이야기를 시작할 때다.

감사팀의 질문에 답이 있도록.

현재 데이터 환경과 목표를 보내 주십시오. 어떤 접근이 맞는지, 함께 살펴보겠습니다.

✉ changks@hfcconsulting.co.kr

1영업일 이내 답변 · 주식회사 에이치에프씨 컨설팅 · 대표이사 장기석