Descrição da Vaga
A keeggo está em busca de um(a) Analista de Engenharia de Dados Sênior para atuar em um projeto estratégico de transformação e governança de dados em um cliente do segmento de recuperação de crédito. O desafio será conduzir a evolução de uma estrutura legada no Databricks, promovendo modernização da arquitetura, melhoria de performance e organização dos ativos de dados. A posição exige um perfil hands-on, visão analítica e forte capacidade técnica para atuar em iniciativas críticas de migração, saneamento e construção de pipelines escaláveis.
Responsabilidades
- Atuar no levantamento e diagnóstico de processos existentes no Databricks que utilizam estruturas legadas baseadas em Hive Metastore.
- Realizar o mapeamento completo de tabelas utilizadas e não utilizadas, identificando impactos técnicos e oportunidades de melhoria.
- Definir, em conjunto com o time de Engenharia de Dados, estratégias de migração, reorganização ou descontinuação de ativos de dados.
- Desenvolver novos processos de ingestão e transformação de dados para camadas modernas de arquitetura, como bronze, silver e gold.
- Adequar pipelines existentes para consumo das novas tabelas e estruturas governadas.
- Executar processos de limpeza e exclusão definitiva de tabelas obsoletas ou sem uso.
- Garantir boas práticas de versionamento, automação de deploy e integração contínua.
- Participar de cerimônias ágeis e colaborar com squads multidisciplinares em metodologia Scrum.
- Contribuir para evolução da governança, qualidade e padronização do ambiente analítico.
Requisitos
- ✓Experiência sólida como Data Engineer em ambientes modernos de dados.
- ✓Domínio de Databricks, com atuação prática em notebooks, workflows e administração de ambientes.
- ✓Conhecimento avançado em Python para engenharia de dados e automação de processos.
- ✓Experiência com Apache Spark para processamento distribuído e grandes volumes de dados.
- ✓Vivência com CI/CD, versionamento e deploy automatizado de pipelines.
- ✓Conhecimento em Unity Catalog e conceitos de governança de dados no ecossistema Databricks.
- ✓Experiência com arquitetura em camadas (Bronze / Silver / Gold).
- ✓Conhecimentos sólidos em SQL e modelagem de dados.
- ✓Vivência em times ágeis utilizando Scrum.
- •Experiência em projetos de migração de Hive Metastore para Unity Catalog.
- •Conhecimento em otimização de performance no Databricks.
- •Vivência com ambientes cloud (AWS, Azure ou GCP).
- •Conhecimento em DataOps e observabilidade de pipelines.
Benefícios
- ✓Cartão Flex para Refeições.
- ✓Cobertura completa para saúde e dentes.
- ✓Acesso ao Wellhub (academias, estúdios e atividades físicas).
- ✓Auxílio Creche.
- ✓Licença Parental Estendida.
- ✓Auxílio Home Office.
- ✓Vale Presente no aniversário.
- ✓Vale Transporte.
- ✓Parcerias com Google, Microsoft, BSTQ, Amazon para certificações.
Categorias
Sobre a Empresa
Mais vagas na Keggo Tech →Desenvolvemos soluções de ponta em estratégia, tecnologia e dados, impactando diariamente negócios de diversos segmentos e, consequentemente, a vida de milhões de pessoas de forma direta e indireta! 🤩 Com uma trajetória de sucesso e reconhecimento no mercado, a Keeggo é sinônimo de excelência.[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
