데이터 거버넌스 강화 필수 지식: Databricks 워크스페이스 권한 관리 변화와 대응 전략
최근 데이터 플랫폼 환경은 단순히 데이터를 저장하는 것을 넘어, 누가 어떤 데이터에 접근하고 어떤 작업을 수행할 수 있는지에 대한 정교한 통제(Governance)가 핵심 과제로 떠오르고 있습니다. 특히 데이터 엔지니어링 워크플로우가 복잡해지고 다양한 사용자가 데이터를 공유하며 협업하는 환경에서는 권한 관리가 매우 중요합니다.
이러한 맥락에서, 데이터 플랫폼의 주요 도구 중 하나인 Databricks가 워크스페이스의 권한 부여 방식에 근본적인 변화를 예고했습니다. 이는 단순한 기능 업데이트를 넘어, 데이터 접근 통제와 보안 아키텍처를 재설계해야 함을 의미합니다. 본 글에서는 이 변화의 핵심 내용과 이것이 데이터 엔지니어링 및 데이터 거버넌스에 어떤 영향을 미치는지 상세히 분석합니다.
Databricks 워크스페이스 권한 관리 변화의 핵심 이해
기존의 Databricks 워크스페이스는 사용자를 워크스페이스에 추가할 때, 사용자가 속한 시스템 그룹(users)의 권한을 자동으로 상속받는 방식이었습니다. 이로 인해 워크스페이스 접근, Databricks SQL 접근 등 광범위한 권한이 자동으로 부여되는 경향이 있었습니다.
하지만 변경되는 방식에서는 이러한 자동 상속(Inheritance) 메커니즘이 사라집니다. 새로운 방식에서는 사용자를 워크스페이스에 추가할 때, 관리자가 각 사용자가 어떤 수준의 권한을 가질지 명시적으로(Explicitly) 부여해야 합니다. 이는 데이터 접근의 투명성과 통제력을 극대화하는 방향으로의 변화입니다.
변화가 가져오는 데이터 거버넌스 강화 측면
이러한 권한 관리 방식의 변화는 데이터 거버넌스 측면에서 매우 긍정적인 영향을 미칩니다. 핵심적인 변화 내용은 다음과 같습니다.
- 명시적 권한 부여 의무화: 모든 사용자는 이제 필요한 권한을 명확하게 지정받아야 합니다. 이는 '최소 권한의 원칙(Principle of Least Privilege)'을 시스템적으로 강제하는 효과를 가져옵니다.
- 시스템 그룹의 역할 재정립: 기존의 'users' 시스템 그룹은 권한을 가지지 않게 되며, 'admins' 그룹만이 모든 워크스페이스 권한을 가지게 됩니다. 이는 그룹별 역할 분리와 책임 소재를 명확히 합니다.
- 접근 통제의 정교화: 사용자가 소비자 전용(consumer-only) 사용자일지라도, 과거처럼 자동으로 작성자(authoring) 권한을 상속받지 않게 됩니다. 이는 데이터 소비와 데이터 생성 활동을 엄격하게 분리할 수 있게 합니다.
데이터 엔지니어링 워크플로우의 대응 전략
데이터 엔지니어링 관점에서 이 변화는 단순히 설정 변경 이상의 의미를 가집니다. 기존에 자동 상속에 의존하여 워크플로우를 구축했거나, 자동화된 방식으로 권한을 관리하던 시스템은 반드시 업데이트가 필요합니다.
1. 자동화된 권한 관리 시스템 점검:
만약 Terraform, SCIM API, 또는 커스텀 스크립트와 같은 자동화 도구를 사용하여 시스템 그룹의 권한을 관리하고 있었다면, 해당 워크플로우를 수정하여 시스템 그룹이 아닌 표준 계정 그룹(standard account groups)을 대상으로 권한을 부여하도록 변경해야 합니다. 새로운 정책에서는 시스템 그룹의 권한 수정 시도가 실패하기 때문입니다.
2. 그룹 구조 재설계:
새로운 권한 모델에서는 'users'나 'admins' 같은 시스템 그룹이 다른 그룹의 멤버로 중첩(Nesting)되는 것이 허용되지 않습니다. 따라서 조직의 그룹 구조를 재검토하고, 중첩 구조를 제거하는 작업이 선행되어야 합니다.
3. 마이그레이션 그룹 관리:
Databricks는 기존에 'users' 그룹에 부여되었던 권한들을 자동으로 'users-clone-'라는 새로운 워크스페이스 로컬 클론 그룹으로 마이그레이션합니다. 관리자는 이 클론 그룹을 일반 그룹처럼 관리하고, 필요에 따라 이름을 커스터마이징할 수 있습니다. 이 마이그레이션 그룹의 존재와 관리 방식을 워크플로우에 반영해야 합니다.
변화 적용 타임라인 및 준비 사항
이러한 변화는 단계적으로 적용됩니다. 관리자는 워크스페이스 설정(Advanced > Access control)에서 옵트인(Opt-in)을 통해 변화에 미리 대비할 수 있습니다. 이 과정을 통해 기존의 레거시 동작 방식(legacy behavior)에서 새로운 동작 방식(new behavior)으로 전환할 수 있습니다.
주요 일정 요약:
- 2026년 6월 15일: 옵트인(Opt-in)이 가능해집니다. 관리자는 이 시점부터 설정을 통해 변화를 미리 적용할 수 있습니다.
- 2026년 7월 27일: 옵트인/옵트아웃 여부와 관계없이 자동 활성화되는 워크스페이스에 적용됩니다.
- 2026년 9월 14일: 모든 워크스페이스에 새로운 동작 방식이 강제 적용되며, 옵트아웃(Opt-out) 옵션이 제거됩니다.
데이터 플랫폼을 운영하는 엔지니어와 아키텍트는 이 타임라인을 숙지하고, 자동화 스크립트와 그룹 구조를 사전에 점검하는 것이 필수적입니다. 권한 관리의 변화는 데이터 보안 수준을 한 단계 끌어올리는 중요한 기회이므로, 선제적인 대응이 요구됩니다.
원문 출처 정보
본 글의 내용은 다음 Databricks 공식 발표 자료를 기반으로 작성되었습니다.
제목: Upcoming behavior change: Choose entitlements when adding principals to workspaces
출처: Databricks Release Notes
원문 출처 및 참고 자료
이 글은 아래 원문 자료를 바탕으로 작성되었습니다.
- 제목: Upcoming behavior change: Choose entitlements when adding principals to workspaces
출처: Databricks Release Notes
URL: https://docs.databricks.com/aws/en/release-notes/whats-coming#upcoming-behavior-change-choose-entitlements-when-adding-principals-to-workspaces