Descrição da Vaga
A Bernoulli Educação busca um(a) Data Engineer Specialist para atuar no desenvolvimento e padronização de pipelines de ingestão Python no Databricks, aplicando frameworks internos com logging estruturado, try/catch e schema validation em todas as camadas da arquitetura. O profissional será responsável por implementar o tratamento de schema evolution, configurar o monitoramento proativo de Databricks Jobs e consolidar o fluxo Git com PR obrigatório para promoção à produção.
Responsabilidades
- Desenvolver e padronizar pipelines de ingestão Python no Databricks, aplicando framework interno com logging estruturado, try/catch e schema validation em todas as camadas da arquitetura.
- Implementar schema evolution handling: absorção automática de mudanças additive e falha controlada com alerta para mudanças destrutivas que impactam indicadores.
- Configurar monitoramento proativo dos Databricks Jobs: alertas em falha e alertas de SLA, eliminando a dependência de verificação manual.
- Consolidar o fluxo Git (Databricks Repos) com PR obrigatório para promoção a produção.
- Rebalancear a camada Silver: mover lógica de negócio intermediária da Gold para a Silver, reduzindo fragilidade e criando camada de amortecimento contra schema drift.
- Construir ou apoiar a construção de painéis e visualizações de dados junto aos stakeholders — inclusive via Power BI — para demonstrar resultados e traduzir dados em insumos acionáveis para as áreas de negócio.
Requisitos
- ✓Domínio de Databricks: PySpark, Delta Lake, Workflows e arquitetura medallion.
- ✓Experiência com Python e SQL em projetos de dados de larga escala.
- ✓Experiência com data quality checks, schema validation e monitoramento proativo de pipelines em produção.
- ✓Experiência com Git e práticas de DataOps: feature branches, PRs e promoção controlada de código para produção.
- ✓Familiaridade com visualização de dados e Power BI: capacidade de construir ou contribuir em painéis e demonstrações para stakeholders, com atuação de ponta a ponta nos projetos.
- ✓Senioridade técnica para entrar no ambiente, identificar os problemas e propor soluções com autonomia e iniciativa.
- ✓Uso fluente de IA como acelerador no dia a dia: Claude, GitHub Copilot, Lovable.
Benefícios
- ✓Plano de saúde
- ✓Plano odontológico
- ✓Seguro de vida
- ✓Vale-alimentação e refeição no mesmo cartão
- ✓Café da manhã ou lanche da tarde nas unidades físicas
- ✓Vale-transporte
- ✓Total Pass e Wellhub (acesso a academias e serviços de bem-estar)
- ✓Day off no aniversário
- ✓Universidade Corporativa
- ✓Programa de acompanhamento a pessoas gestantes
- ✓Programa de orientação psicológica, jurídica, financeira e social
- ✓Presente de casamento
- ✓Duo Gourmet
- ✓Clube de Vantagens Bernoulli: acesso a uma rede de parcerias com descontos em cursos de graduação e pós-graduação, conta de energia, idiomas e muito mais para você e sua família
- ✓Mães em regime híbrido têm 100% home office do 6º mês de gravidez até 1 ano da criança
- ✓Pais em regime híbrido têm 100% home office do nascimento até 6 meses da criança
Categorias
Sobre a Empresa
Mais vagas na Bernoulli Educação →Nós, do Bernoulli Educação, acreditamos que despertar a paixão por aprender é o que impulsiona o conhecimento e fazemos disso um propósito.A nossa história começou no ano 2000, em Belo Horizonte e hoje o Bernoulli é um dos mais sólidos e conceituados grupos educacionais do Brasil, atuando da Educaçã...[Ver Mais]
Informações Adicionais
Você será redirecionado para o site da empresa
