Databricks Data Engineer | Senior
Publicada em
Ver 1.422 vagas de Data Science / Analytics →🌍 Remoto📍 Remoto
PUBLICIDADE
Descrição da Vaga
A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Sênior com expertise em Databricks para atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados. O profissional será responsável por definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold), além de desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake.
Responsabilidades
- Atuar no desenvolvimento, implementação e evolução de soluções de Engenharia de Dados utilizando o ecossistema Databricks;
- Definir e implementar arquiteturas de dados escaláveis, baseadas no modelo Lakehouse e na arquitetura Medallion (Bronze, Silver e Gold);
- Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, PySpark, Spark SQL e Delta Lake;
- Implementar soluções de ingestão, processamento e integração de dados, incluindo CDC e Structured Streaming;
- Atuar na orquestração de pipelines e integração de sistemas por meio do Azure Data Factory (ADF);
- Desenvolver APIs REST, microsserviços e automações utilizando Python;
- Garantir a governança, segurança, linhagem e controle de acesso aos dados;
- Realizar otimizações de performance, escalabilidade e custos de processamento;
- Atuar na observabilidade, monitoramento e sustentação de pipelines em produção;
- Ser referência técnica para o time, orientando profissionais e estabelecendo boas práticas de Engenharia de Dados.
PUBLICIDADE
Requisitos
- ✓Experiência sólida e avançada em projetos produtivos com Databricks
- ✓Domínio de PySpark, Spark SQL, Delta Lake e Apache Spark
- ✓Experiência com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming
- ✓Experiência com Liquid Clustering, Auto Loader e otimização de tabelas Delta
- ✓Conhecimento avançado em Unity Catalog, governança, segurança, linhagem e controle de acesso
- ✓Experiência na definição de arquiteturas de dados, modelo Lakehouse e arquitetura Medallion
- ✓Experiência com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados
- ✓Domínio de Python para desenvolvimento de APIs REST, microsserviços e automações
- ✓Experiência com Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução
- ✓Conhecimento em Databricks Workflows, CI/CD, Git e Declarative Automation Bundles
- ✓Experiência com otimização de workloads, dimensionamento de recursos computacionais e redução de custos
- ✓Vivência com observabilidade, monitoramento e sustentação de pipelines em produção
- ✓Autonomia na resolução de problemas técnicos complexos e capacidade de tomada de decisão arquitetural
- ✓Experiência como referência técnica, apoiando e orientando outros profissionais
- ✓Certificação Databricks Certified Data Engineer Associate
- •Certificação Databricks Certified Data Engineer Professional
- •Certificação Databricks Certified Associate Developer for Apache Spark
- •Certificações AWS, Azure ou GCP relacionadas à Engenharia de Dados e Arquitetura de Soluções
Benefícios
- ✓Vale-alimentação e/ou vale-refeição
- ✓Plano de saúde
- ✓Plano odontológico
- ✓Plano de saúde para o seu pet
- ✓Auxílio home office
- ✓Kit de boas-vindas no onboarding
- ✓Seguro de vida
- ✓Zenklub, com acompanhamento psicológico e nutricional
- ✓TotalPass
- ✓Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce)
- ✓Parcerias e descontos para o seu desenvolvimento
- ✓Acesso ao conteúdo UOL
- ✓Kit maternidade
- ✓Licença maternidade e paternidade estendidas
- ✓Programa de indicações
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
Engenheiro de IA Sênior
Vetta
Administrador de Dados
Hitss Brasil
Administrador de Dados - Powerdesigner
Certsys
Analista Sênior de Inteligência de Negócios e Performance de Portfólio
Grupo Real
🏢
Analista de Dados SR
Grupo SysMap
Cientista de Dados Sênior
Stefanini Group