Engenheiro(a) de Dados

A Jump está buscando um(a) Engenheiro(a) de Dados Sênior para liderar tecnicamente a migração de cargas e estruturas de dados do Teradata para o Databricks. O profissional será responsável por garantir a qualidade, desempenho, escalabilidade, segurança e aderência aos padrões de engenharia definidos para a nova plataforma, atuando na otimização e redesenho de processos de dados complexos.

Responsabilidades

• Avaliar processos, workloads, tabelas e dependências do ambiente Teradata.
• Definir, em conjunto com a arquitetura, a estratégia técnica de migração para cada domínio ou conjunto de cargas.
• Projetar e desenvolver pipelines complexos utilizando Databricks, Spark SQL, PySpark e Delta Lake.
• Converter e otimizar consultas, stored procedures, macros e transformações oriundas do Teradata.
• Redesenhar processos quando a simples conversão técnica não for adequada à arquitetura distribuída.
• Definir estratégias de carga completa, incremental, reprocessamento, tratamento de históricos e recuperação de falhas.
• Atuar na otimização de desempenho, considerando particionamento, organização dos dados, paralelismo, consumo de recursos e custo computacional.
• Definir e implementar mecanismos de reconciliação entre origem e destino.
• Garantir que regras de negócio e resultados analíticos sejam preservados durante a migração.
• Estabelecer padrões de desenvolvimento, testes, observabilidade, tratamento de erros e documentação.
• Realizar revisões técnicas e apoiar o desenvolvimento dos profissionais plenos.
• Diagnosticar problemas complexos de dados, processamento e desempenho.
• Apoiar decisões relacionadas à implantação, estabilização e desativação gradual de componentes legados.
• Interagir com áreas técnicas, funcionais, de segurança, governança e operação.