PUBLICIDADE
Descrição da Vaga
A Compass UOL está em busca de um(a) Engenheiro(a) de Dados Sênior com foco em Databricks para atuar na implantação e evolução da Plataforma Corporativa de Dados (Enterprise Lakehouse). O profissional participará da modernização do ecossistema analítico corporativo, com migração de workloads da Azure para AWS e Databricks, desenvolvendo e mantendo pipelines de dados escaláveis e de alta performance.
Responsabilidades
- Atuar na implantação e evolução da Plataforma Corporativa de Dados (Enterprise Lakehouse);
- Participar da modernização do ecossistema analítico corporativo, com migração de workloads da Azure para AWS e Databricks;
- Desenvolver, manter e evoluir pipelines de dados escaláveis, confiáveis e de alta performance;
- Construir soluções de ingestão, transformação e disponibilização de dados utilizando arquitetura Lakehouse;
- Implementar padrões de Engenharia de Dados, DataOps, CI/CD e versionamento de código;
- Apoiar iniciativas de governança, qualidade e catalogação de dados;
- Reestruturar pipelines legados em soluções modernas baseadas em Apache Spark e Databricks;
- Trabalhar com integrações complexas entre sistemas corporativos, garantindo escalabilidade, governança e confiabilidade dos dados;
- Colaborar na implementação de arquiteturas de Data Lake, Data Warehouse e Lakehouse em ambiente Cloud.
PUBLICIDADE
Requisitos
- ✓Domínio de SQL avançado
- ✓Experiência na construção de pipelines ETL/ELT
- ✓Vivência prática com Databricks
- ✓Conhecimento em Apache Spark
- ✓Experiência com arquiteturas Data Lake, Data Warehouse e/ou Lakehouse
- ✓Conhecimento em modelagem de dados analítica e dimensional
- ✓Experiência com processamento de grandes volumes de dados
- ✓Vivência com ambientes Cloud, preferencialmente AWS
- ✓Conhecimento em AWS Glue, Unity Catalog e Lake Formation
- ✓Experiência com Git e versionamento de código
- ✓Conhecimento de práticas de CI/CD aplicadas à Engenharia de Dados
- ✓Vivência com ferramentas como Airflow, Kafka e dbt
- ✓Conhecimento em bancos de dados SQL e NoSQL (PostgreSQL, MongoDB e Cassandra)
- ✓Experiência em projetos de modernização e migração de plataformas corporativas de dados
- ✓Capacidade de atuar em integrações complexas entre sistemas corporativos e ambientes distribuídos
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
PUBLICIDADE