Data Engineer (Databricks) | SR
Publicada em
Ver 1.464 vagas de Data Science / Analytics →🌍 Remoto📍 Remoto
PUBLICIDADE
Descrição da Vaga
Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade. Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance.
Responsabilidades
- Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery).
- Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold).
- Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming.
- Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow.
- Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog.
- Desenvolver APIs REST, integrações e automações utilizando Python.
- Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.
PUBLICIDADE
Requisitos
- ✓Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.
- ✓Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming.
- ✓Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta.
- ✓Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso.
- ✓Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).
- ✓Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.
- ✓Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações.
- ✓Conhecimento avançado em Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução.
- ✓Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles.
- ✓Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento.
- ✓Experiência em observabilidade, monitoramento e sustentação de pipelines em produção.
- ✓Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados.
- •Certificação Databricks Certified Data Engineer Associate.
- •Certificação Databricks Certified Data Engineer Professional.
Benefícios
- ✓Vale-alimentação e/ou vale-refeição
- ✓Plano de saúde
- ✓Plano odontológico
- ✓Plano de saúde para o seu pet
- ✓Auxílio home office
- ✓Kit de boas-vindas no onboarding
- ✓Seguro de vida
- ✓Zenklub, com acompanhamento psicológico e nutricional
- ✓TotalPass
- ✓Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce)
- ✓Parcerias e descontos para o seu desenvolvimento
- ✓Acesso ao conteúdo UOL
- ✓Kit maternidade
- ✓Licença maternidade e paternidade estendidas
- ✓Programa de indicações
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
🏢
MLOps Engineer Sênior
Asaas
🏢
Staff Data Engineer
Grupo OLX
🏢
Analista de Dados Júnior
Grupo Bancobrás
Analytics Engineer Sênior
Stefanini Group
Senior Data Engineer [Vaga Afirmativa para PCD]
Jusbrasil
Analista de Business Intelligence
Gera Sales Ecosystem