PUBLICIDADE
Descrição da Vaga
Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks, desenvolvendo e mantendo pipelines de dados escaláveis, confiáveis e performáticos. Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark, com atuação em arquiteturas Data Lake e Data Lakehouse, e implementação do modelo Medallion (Bronze, Silver e Gold).
Responsabilidades
- Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks.
- Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos.
- Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark.
- Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold).
- Interpretação de regras de negócio e tradução em processos e soluções de dados.
- Participação em projetos de migração e modernização de plataformas de dados.
- Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines.
PUBLICIDADE
Requisitos
- ✓Domínio de PySpark, Apache Spark e SQL.
- ✓Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow Declarative Pipelines.
- ✓Conhecimento em Lakeflow Connect para ingestão de dados.
- ✓Experiência com Jobs, Workflows, orquestração e monitoramento de pipelines.
- ✓Vivência com arquitetura Lakehouse e modelo Medallion (Bronze, Silver e Gold).
- ✓Experiência com migração de plataformas ou desenvolvimento de projetos em Databricks.
- ✓Conhecimento de Git, CI/CD e boas práticas de desenvolvimento e deploy.
- ✓Conhecimento de ferramentas e tecnologias como Airflow, Kafka, dbt, AWS Glue e BigQuery.
- ✓Experiência com bancos SQL/NoSQL, como PostgreSQL, MongoDB ou Cassandra.
- •Experiência em projetos contábeis e financeiros.
- •Certificação Databricks Certified Data Engineer Associate.
Categorias
Sobre a Empresa
Mais vagas na Compass.UOL → A Compass UOL é especialista em serviços de transformação digital. Projetamos e construímos plataformas nativas digitais usando tecnologias de ponta para ajudar empresas a inovar, transformar seus negócios e prosperar em seus setores.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
PUBLICIDADE