PUBLICIDADE
Descrição da Vaga
A Extractta busca um Engenheiro de Dados Sênior com forte atuação em engenharia de dados e desenvolvimento backend. O profissional será responsável pela manutenção e evolução de serviços de backend, além da migração de sistemas legados para uma arquitetura de dados moderna, em um ambiente que lida com dados financeiros sensíveis e aderência à LGPD.
Responsabilidades
- Construir e manter pipelines de dados escaláveis (ingestão, transformação, consumo) em arquitetura medalhão / Lakehouse.
- Trabalhar na fronteira dados + backend, incluindo manutenção/evolução e migração de serviços legados em Java/Spring Boot para arquitetura moderna de dados.
- Processar dados com Spark (batch e streaming), incluindo Structured Streaming com Kafka.
- Garantir qualidade, governança e segurança dos dados: controle de acesso por catálogo/schema, mascaramento de PII, aderência à LGPD, quality checks, testes unitários e de integração.
- Orquestrar e agendar jobs (Airflow / Lakeflow Jobs), logging estruturado, monitoramento e observabilidade.
- Otimizar performance e custos; aplicar boas práticas de engenharia de software (SOLID, design patterns, código limpo/manutenível).
- Colaborar com líderes técnicos, stakeholders de negócio e times multidisciplinares.
PUBLICIDADE
Requisitos
- ✓Experiência sênior em engenharia de dados com Spark / PySpark.
- ✓Experiência com Databricks (Unity Catalog, Delta, DLT/declarative pipelines, Lakeflow Jobs).
- ✓Conhecimento em Java / Spring Boot – backend, microsserviços, arquitetura orientada a eventos.
- ✓Conhecimento em Python.
- ✓Experiência com Kafka / streaming de dados.
- ✓Experiência com Google Cloud Platform (GCP) — incluindo BigQuery e serviços de dados do ecossistema GCP (ex.: Dataproc/Dataflow, Cloud Composer/Airflow, Pub/Sub, GCS).
- ✓Experiência com modelagem de dados (star schema), SQL e bancos relacionais.
- ✓Conhecimento em governança/qualidade de dados e boas práticas de LGPD.
- •Conhecimento de programação reativa com Vert.X ou Webflux.
- •Certificação Databricks (Data Engineer Associate/Professional).
- •Experiência em setor financeiro / regulado (birô de crédito).
- •Conhecimento em IaC (Terraform) e ownership de esteira CI/CD.
- •Conhecimento em Docker/Kubernetes, Great Expectations, observabilidade (Grafana/Prometheus).
- •Conhecimento em Cloud: AWS (S3, Glue, Athena, MWAA) e/ou Azure (Data Factory, Synapse, Event Hub).
Categorias
Sobre a Empresa
Mais vagas na Extractta →A Extractta nasceu com o propósito de transformar tecnologia em resultados reais para empresas de diversos segmentos. Ao longo da nossa trajetória, nos consolidamos como uma consultoria de inovação e tecnologia que une estratégia, pessoas e soluções digitais para apoiar organizações em seus desafios...[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
PUBLICIDADE