데이터 거버넌스 강화와 데이터 접근 제어: Databricks의 새로운 변화 분석
최근 데이터 플랫폼의 복잡성이 증가함에 따라, 데이터 접근 제어와 거버넌스(Governance)는 기업의 핵심 과제로 떠오르고 있습니다. 특히 데이터 엔지니어링 환경에서 데이터의 보안성과 사용 권한을 명확히 관리하는 것이 매우 중요해졌습니다. 이러한 흐름 속에서 데이터 플랫폼을 선도하는 주요 벤더 중 하나인 Databricks가 워크스페이스의 권한 부여 방식에 근본적인 변화를 예고했습니다. 이 변화는 단순히 기술적인 업데이트를 넘어, 데이터 플랫폼을 운영하는 방식과 데이터 거버넌스 전략 전반에 걸쳐 중요한 시사점을 던지고 있습니다.
1. Databricks의 권한 부여 방식 변화가 의미하는 것
Databricks는 워크스페이스에 주체(principals)를 추가할 때 권한(entitlements)을 부여하는 방식을 변경할 예정입니다. 기존에는 주체가 워크스페이스의 시스템 그룹(system group)에 추가되면, 해당 시스템 그룹이 가진 권한을 자동으로 상속받는(inheriting) 방식이었습니다. 하지만 새로운 방식에서는 이러한 자동 상속에 의존하지 않고, 주체별로 권한을 명시적으로(explicitly) 부여해야 합니다.
이러한 변화의 핵심은 '명시적 제어'로의 전환입니다. 과거에는 시스템 그룹의 권한이 광범위하게 적용되어, 사용자가 필요한 것 이상의 접근 권한을 가질 위험이 있었습니다. 새로운 방식은 주체 추가 시 어떤 수준의 접근 권한(예: 소비자 전용 사용자, Authoring 권한 등)을 가질지 명확하게 지정하도록 강제합니다. 이는 데이터 플랫폼 환경에서 발생할 수 있는 권한 오남용(Misuse of Privilege)을 최소화하고, 데이터 보안 수준을 한 단계 끌어올리는 효과를 가져옵니다.
2. 데이터 엔지니어링 워크플로우 관점에서의 영향
데이터 엔지니어링은 데이터를 수집, 변환, 적재(ETL/ELT)하여 분석 가능한 형태로 만드는 과정입니다. 이 과정에서 데이터에 접근하는 다양한 주체(엔지니어, 분석가, 비즈니스 사용자 등)가 존재합니다. Databricks의 권한 변경은 이러한 워크플로우의 각 단계에 걸쳐 다음과 같은 영향을 미칩니다.
- 정교한 접근 제어 구현: 데이터 엔지니어는 이제 각 역할(Role)에 맞는 최소한의 권한(Principle of Least Privilege)을 부여하는 것이 더욱 중요해집니다. 예를 들어, 데이터를 소비하는 분석가에게는 데이터 조회 권한만 주고, 데이터 파이프라인을 구축하는 엔지니어에게만 쓰기 권한을 부여하는 식의 세밀한 관리가 가능해집니다.
- 자동화된 거버넌스 강화: 기존에는 시스템 그룹에 의존하여 권한을 관리하는 자동화 스크립트나 도구(Terraform, SCIM APIs 등)를 사용했을 수 있습니다. 새로운 방식에서는 이러한 자동화 워크플로우를 시스템 그룹이 아닌 표준 계정 그룹(standard account groups)을 대상으로 수정해야 합니다. 이는 데이터 플랫폼의 운영 자동화(DevOps) 측면에서도 거버넌스 코드를 강화하는 계기가 됩니다.
- 데이터 계보(Data Lineage) 관리 용이성: 누가, 언제, 어떤 권한으로 데이터에 접근했는지에 대한 기록과 통제가 더욱 명확해지면서, 데이터의 출처와 변경 이력을 추적하는 데이터 계보 관리(Data Lineage)가 더욱 신뢰성 있게 이루어질 수 있습니다.
3. 데이터 플랫폼 운영자(Workspace Administrator)가 준비해야 할 사항
이러한 변화는 워크스페이스 관리자(Workspace Administrator)에게 몇 가지 필수적인 조치를 요구합니다. 단순히 기술적인 설정을 변경하는 것을 넘어, 조직의 데이터 접근 정책을 재검토하는 기회가 됩니다.
1. 기존 권한 구조 분석 및 재설계: 현재 시스템 그룹에 의존하여 권한이 부여된 부분이 있다면, 이를 새로운 명시적 권한 부여 모델로 전환하는 계획이 필요합니다. 특히, 기존에 'users' 시스템 그룹에 부여되었던 권한들이 새로운 'users-clone-'와 같은 로컬 그룹으로 자동 마이그레이션되므로, 이 클론 그룹의 권한을 면밀히 검토하고 필요한 권한을 재배치해야 합니다.
2. 자동화 스크립트 업데이트: 만약 Terraform이나 SCIM API 같은 도구를 사용하여 시스템 그룹의 권한을 관리하는 자동화 시스템을 운영하고 있다면, 해당 워크플로우를 시스템 그룹이 아닌 표준 계정 그룹을 대상으로 수정해야 합니다. 이는 데이터 플랫폼의 안정적인 운영을 위해 필수적인 조치입니다.
3. 그룹 중첩(Nesting) 구조 점검: 새로운 방식에서는 'users'나 'admins' 시스템 그룹이 다른 그룹의 멤버로 중첩되는 것이 허용되지 않습니다. 따라서 현재의 그룹 중첩 구조를 점검하고, 필요한 경우 구조를 단순화하거나 재설계해야 합니다.
결론: 데이터 거버넌스 중심의 플랫폼으로의 진화
Databricks의 권한 부여 방식 변경은 데이터 플랫폼이 단순한 데이터 저장소를 넘어, 강력한 보안과 거버넌스 기능을 내장한 '신뢰할 수 있는 데이터 운영 환경'으로 진화하고 있음을 보여줍니다. 데이터 엔지니어링의 복잡도가 높아지고 데이터 규제가 강화되는 시대적 흐름 속에서, 이러한 명시적이고 세밀한 접근 제어 메커니즘은 기업이 데이터 자산을 안전하게 활용하고 비즈니스 가치를 극대화하는 데 결정적인 역할을 할 것입니다. 따라서 데이터 플랫폼을 운영하는 모든 주체는 이 변화를 기회로 삼아, 데이터 거버넌스 체계를 재정비하고 보다 견고한 데이터 운영 시스템을 구축해야 할 것입니다.
참고 자료 및 출처
본 글은 다음 소스를 기반으로 작성되었습니다.
- 제목: Upcoming behavior change: Choose entitlements when adding principals to workspaces
출처: Databricks Release Notes
URL:https://docs.databricks.com/aws/en/release-notes/whats-coming#upcoming-behavior-change-choose-entitlements-when-adding-principals-to-workspaces
원문 출처 및 참고 자료
이 글은 아래 원문 자료를 바탕으로 작성되었습니다.
- 제목: Upcoming behavior change: Choose entitlements when adding principals to workspaces
출처: Databricks Release Notes
URL: https://docs.databricks.com/aws/en/release-notes/whats-coming#upcoming-behavior-change-choose-entitlements-when-adding-principals-to-workspaces - 제목: Databricks CEO plans to avoid IPO during year of huge offerings
출처: Bing News
URL: https://www.msn.com/en-us/money/technology/databricks-ceo-plans-to-avoid-ipo-during-year-of-huge-offerings/ar-AA24QKbf