Engenheiro(a) de Dados Azure - Especialista em Databricks

A Dataside busca um(a) Engenheiro(a) de Dados Azure, especialista em Databricks, para atuar em uma grande organização cliente. O profissional será responsável por apoiar a Diretoria Técnica e a equipe na sustentação do ambiente Databricks em escala na Azure, visando estabilidade, monitoramento, integração com sistemas internos e eficiência financeira, aplicando boas práticas de mercado. Este papel foca em engenharia e governança de plataforma, com influência técnica e interação frequente com a liderança, não sendo um papel de desenvolvimento de pipelines de negócio.

Responsabilidades

• Revisar e evoluir a arquitetura do ambiente Databricks: workspaces, metastore, Unity Catalog, estrutura de contas e ambientes.
• Definir e aplicar padrões de infraestrutura como código para toda a plataforma.
• Apoiar decisões de arquitetura com recomendações claras e fundamentadas.
• Desenhar e revisar a rede Azure: VNet injection, subnets, NSGs, Private Link/Private Endpoints, DNS, rotas, firewall/NVA e conectividade com o ambiente on-premises (ExpressRoute/VPN).
• Definir storage (ADLS Gen2, containers, external locations, credenciais e Managed Identities), desenho de resource groups e subscriptions, tags e políticas (Azure Policy).
• Cuidar de identidade e acesso: Entra ID, SCIM, grupos, service principals e RBAC.
• Implantar observabilidade da plataforma e dos workloads: system tables, métricas, logs, alertas e dashboards.
• Integrar o Databricks aos sistemas internos do cliente (ITSM, SIEM, monitoramento corporativo, catálogos, identidade e outros).
• Estruturar runbooks, SLAs/SLOs, gestão de incidentes e análise de causa raiz.
• Preparar o ambiente para continuidade de negócio: backup, DR e estratégia de recuperação.
• Definir e implantar padrões de CI/CD para notebooks, jobs, pipelines e infraestrutura (Databricks Asset Bundles, Terraform, Azure DevOps ou GitHub Actions).
• Estabelecer promoção entre ambientes, versionamento, testes e quality gates.
• Criar templates e golden paths para as equipes de dados usarem a plataforma de forma padronizada.
• Construir visibilidade de custos: system tables de billing, tags, budgets, chargeback/showback.
• Fazer right sizing de clusters, SQL Warehouses e jobs, com cluster policies, autoscaling, serverless e escolha de instâncias.
• Identificar desperdícios e oportunidades de economia (Predictive Optimization, Liquid Clustering, otimização de jobs, reservas e commit).
• Apresentar a evolução de custo e eficiência aos gestores de forma executiva.
• Aplicar boas práticas de segurança: criptografia, segregação de ambientes, gestão de segredos, auditoria e conformidade.
• Apoiar a governança de dados com Unity Catalog: permissões, lineage, masking e row filters.