Descrição da Vaga
A Leega Consultoria busca um Engenheiro de Dados GCP Sênior para atuar em projetos de modernização e otimização de pipelines de dados. O profissional será responsável por realizar engenharia reversa de lógicas complexas em PySpark, traduzindo-as para SQL otimizado no BigQuery, e por operar ferramentas de IA para acelerar a conversão de pipelines e automatizar testes. Além disso, irá modernizar e construir fluxos de ingestão utilizando serviços nativos do GCP, como Datastream, Dataflow e Cloud Run, orquestrados pelo Cloud Composer. O gerenciamento e otimização de dados no formato Apache Iceberg, integrados via BigLake, também fazem parte das responsabilidades, garantindo performance e controle de custos.
Responsabilidades
- Realizar engenharia reversa de lógicas complexas escritas em PySpark, traduzindo-as para SQL nativo e otimizado no BigQuery.
- Operar ferramentas de IA para acelerar a conversão de pipelines de dados e automatizar testes.
- Modernizar e construir fluxos de ingestão substituindo ferramentas legadas por serviços nativos do GCP (Datastream, Dataflow, Cloud Run) orquestrados pelo Cloud Composer.
- Gerenciar e otimizar dados no formato Apache Iceberg integrados via BigLake, garantindo performance e controle de custos.
- Criar e executar frameworks de testes automatizados para validar a equivalência volumétrica, chaves de negócio e agregações entre o ambiente legado e o novo.
- Realizar contagem de linhas: Verificação por tabela e por partição.
- Realizar reconciliação por chave de negócio: Comparação direta dos registros entre a origem (Spark) e o destino (BigQuery).
- Realizar Checksum/Hash: Agregação das colunas relevantes para garantir a integridade dos dados.
- Realizar validação de agregações-chave: Conferência de somas, contagens distintas, mínimos e máximos utilizados nos indicadores de negócio.
Requisitos
- ✓Forte experiência em Google Cloud Platform, especialmente BigQuery, GCS e Cloud Composer (Airflow), com no mínimo 6 anos de experiência profissional.
- ✓Sólido domínio técnico em SQL avançado e Python/PySpark, com no mínimo 6 anos de experiência profissional.
- ✓Experiência prática com formatos de dados abertos (Open Table Formats), especificamente conversão e manipulação de Apache Iceberg e Delta.
- ✓Conhecimento em orquestração de transformações de dados utilizando Dataform ou dbt.
- ✓Capacidade de resolver problemas complexos de performance e schema evolution em cenários de alta volumetria (escala de Terabytes).
Categorias
Sobre a Empresa
Mais vagas na Leega Consultoria →Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo,...[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
