(주)HFC컨설팅

Technology Expertise · Snowflake옮기긴 옮겼다.빨라지진 않았다.HFC Consulting — Hemingway From Cuba청구서가 도착한다. 인프라팀장이 숫자를 본다. 예상보다 세 배다. 쿼리 속도는 그대로다. 그는 마이그레이션 보고서를 다시 연다. 기존 쿼리를 그대로 옮겼다고 적혀 있다.온프레미스 DW의 쿼리와 스키마를 그대로 가져왔다. 이전은 끝났다. Snowflake의 구조는 쓰지 않았다.클라우드 DW로 옮기고 나서야, 설계를 다시 생각하게 된다. 컴퓨팅과 스토리지가 분리된 구조를, 옮긴 뒤에 깨닫는다.우리는 온프레미스 DW를 Snowflake로 직접 옮겼다. 무엇을 그대로 가져가고, 무엇을 다시 짤지를 먼저 가른다. 그래야 그 청구서가 세 배로 안 나온다. ..

Technology Expertise · Cloudera클러스터는 두 달 걸렸다.거버넌스는 일 년 걸렸다.HFC Consulting — Hemingway From Cuba감사팀이 묻는다. "이 데이터, 누가 봤습니까." 보안 담당자가 로그를 연다. 접근 기록이 없다. 권한 체계가 처음부터 없었다. 클러스터는 잘 돌아간다. 누가 무엇을 봤는지는, 아무도 모른다.구축은 두 달 걸렸다. 그 일을 바로잡는 데는 일 년이 걸렸다. 보안 정책을 다시 짜고, 접근 권한을 다시 나누고, 카탈로그를 새로 만들었다.엔터프라이즈 데이터 플랫폼에서, 구축보다 오래 걸리는 게 있다. 그 데이터를 누가 보고, 어떻게 관리하느냐다.우리는 금융사와 물류사의 Cloudera 기반 Data Lake를 직접 구축했다. 클러스터 설계부터,..