PUBLICIDADE
Descrição da Vaga
A Jump está buscando um(a) Engenheiro(a) de Dados Pleno para atuar na construção, migração e validação de pipelines e estruturas de dados. O profissional será responsável por converter cargas e transformações existentes no ambiente Teradata para soluções escaláveis na plataforma Databricks.
Responsabilidades
- Analisar rotinas, tabelas, consultas e processos existentes no Teradata.
- Desenvolver e adaptar pipelines de ingestão, transformação e disponibilização de dados no Databricks.
- Converter códigos SQL e regras de transformação para Spark SQL e PySpark.
- Implementar tabelas e fluxos utilizando Delta Lake.
- Apoiar a migração de cargas batch e, quando aplicável, processos incrementais.
- Executar reconciliação entre os ambientes de origem e destino, validando volumetria, integridade, completude e consistência dos dados.
- Criar testes automatizados e controles de qualidade de dados.
- Investigar falhas de processamento e apoiar a correção de problemas de desempenho.
- Documentar pipelines, transformações, regras implementadas e procedimentos operacionais.
- Trabalhar em conjunto com profissionais seniores, arquitetos, analistas de negócio e equipes responsáveis pelos sistemas de origem.
- Apoiar a implantação e o acompanhamento das cargas migradas em produção.
PUBLICIDADE
Requisitos
- ✓Experiência em engenharia de dados e desenvolvimento de processos ETL/ELT.
- ✓Bom domínio de SQL, incluindo consultas complexas, joins, agregações, funções analíticas e tratamento de grandes volumes.
- ✓Experiência com Python ou PySpark.
- ✓Conhecimento de Apache Spark e seus principais conceitos de processamento distribuído.
- ✓Experiência com Databricks ou plataformas equivalentes de processamento de dados em nuvem.
- ✓Conhecimento de modelagem de dados relacional.
- ✓Experiência com versionamento de código, preferencialmente Git.
- ✓Familiaridade com testes, monitoramento e troubleshooting de pipelines.
- ✓Capacidade de interpretar códigos legados e regras de transformação existentes.
- •Experiência prática com Teradata.
- •Conhecimento de Delta Lake, Unity Catalog e Databricks Workflows.
- •Experiência com serviços de dados em nuvem.
- •Conhecimento de ferramentas de orquestração e integração de dados.
- •Experiência em projetos de modernização ou migração de plataformas analíticas.
- •Vivência com dados do setor financeiro ou outros ambientes altamente regulados.
Categorias
Sobre a Empresa
Mais vagas na Jump →A Jump é uma empresa que oferece soluções personalizadas para todos os segmentos. Impulsionamos a transformação digital de empresas e organizações, moldando seus processos, serviços e modelos de negócio com estratégias e tecnologias inovadoras.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
PUBLICIDADE