Engenheiro de Dados SR (GCP)

🌍 Remoto📍 Remoto

Descrição da Vaga

Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar na construção, evolução e sustentação de plataformas modernas de dados em Google Cloud Platform (GCP). Essa posição combina Engenharia de Dados e Desenvolvimento de Software, exigindo experiência sólida tanto na criação de pipelines de dados robustos e escaláveis quanto no desenvolvimento e modernização de serviços backend utilizando Java e Spring Boot. O(a) profissional terá papel importante na evolução de arquiteturas de dados modernas, migração de sistemas legados e garantia de ambientes escaláveis, seguros, observáveis e bem governados, atuando em um contexto com alto volume de dados, requisitos de segurança e conformidade.

Responsabilidades

Projetar, desenvolver e manter pipelines de dados escaláveis e confiáveis em Google Cloud Platform (GCP).
Trabalhar com serviços do ecossistema de dados do GCP, incluindo: BigQuery, Dataproc, Dataflow, Cloud Composer / Airflow, Pub/Sub, Cloud Storage.
Construir e evoluir arquiteturas modernas de dados utilizando conceitos de Lakehouse e Arquitetura Medalhão.
Processar grandes volumes de dados utilizando Spark e PySpark.
Desenvolver e manter soluções utilizando Databricks, incluindo recursos como Unity Catalog, Delta Lake, pipelines declarativos / DLT, orquestração e execução de jobs.
Construir pipelines de ingestão e processamento de dados em tempo real utilizando Kafka e Structured Streaming.
Desenvolver, manter e modernizar aplicações e serviços backend utilizando Java e Spring Boot.
Trabalhar com microsserviços e arquiteturas orientadas a eventos.
Apoiar e conduzir processos de migração de aplicações e serviços legados para plataformas modernas de dados.
Aplicar boas práticas de Engenharia de Software, incluindo Programação Orientada a Objetos, programação funcional, SOLID, Design Patterns, Clean Code, otimização de performance, gestão de débito técnico.
Garantir qualidade, governança e segurança dos dados ao longo de todo o pipeline.
Implementar controles de acesso em nível de catálogo, schema e tabela.
Trabalhar com proteção e mascaramento de dados sensíveis e PII, garantindo conformidade com a LGPD.
Desenvolver testes unitários, testes de integração e validações de qualidade de dados.
Utilizar ferramentas e frameworks de Data Quality, como Great Expectations ou similares.
Implementar práticas de logging estruturado, monitoramento e observabilidade.
Atuar em troubleshooting de ambientes produtivos, análise de incidentes e identificação de causa raiz.
Trabalhar com modelagem de dados, incluindo Star Schema e modelos analíticos.
Desenvolver consultas e otimizações utilizando SQL.
Trabalhar com bancos de dados relacionais e ambientes distribuídos.
Participar da evolução técnica das plataformas e das decisões relacionadas à arquitetura de dados.

Requisitos

✓Experiência sólida como Engenheiro(a) de Dados, preferencialmente em ambientes corporativos de grande porte.
✓Experiência prática com Google Cloud Platform (GCP).
✓Conhecimento avançado em BigQuery.
✓Experiência com serviços de dados do GCP, como Dataproc, Dataflow, Cloud Composer, Pub/Sub e Cloud Storage.
✓Experiência sólida com Spark e PySpark.
✓Experiência prática com Databricks.
✓Conhecimento de Delta Lake, Unity Catalog e pipelines de dados em Databricks.
✓Experiência com processamento de dados em streaming utilizando Kafka.
✓Experiência sólida em desenvolvimento de software utilizando Java e Spring Boot.
✓Experiência com desenvolvimento de APIs, microsserviços e arquiteturas orientadas a eventos.
✓Conhecimentos sólidos de Engenharia de Software e boas práticas de desenvolvimento.
✓Experiência com SQL e bancos de dados relacionais.
✓Conhecimento em modelagem de dados e arquitetura analítica.
✓Experiência com testes de software e qualidade de dados.
✓Conhecimento de práticas de governança, segurança e controle de acesso a dados.
✓Conhecimento de LGPD e proteção de dados sensíveis.
✓Experiência com monitoramento, observabilidade e troubleshooting de ambientes produtivos.
✓Boa capacidade analítica e de resolução de problemas.
✓Boa comunicação para interação com times técnicos e áreas de negócio.
✓Inglês avançado.
•Certificações Databricks Data Engineer Associate ou Professional.
•Experiência em setores regulados, financeiros, seguros ou ambientes com dados sensíveis.
•Conhecimento de Terraform e Infrastructure as Code (IaC).
•Experiência com construção e manutenção de pipelines de CI/CD.
•Conhecimento de Docker e Kubernetes.
•Experiência com ferramentas de observabilidade como Grafana e Prometheus.
•Experiência com outras plataformas de cloud, como AWS ou Microsoft Azure.
•Vivência com metodologias ágeis, como Scrum ou Kanban.
•Inglês técnico para leitura de documentação e interação com times internacionais.

Benefícios

✓Vale Alimentação e/ou Vale Refeição.
✓Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer.
✓Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais.
✓Auxílio para Certificações.
✓Possibilidade de crescimento na empresa e de participação em projetos estratégicos.
✓Oportunidade de trabalhar em uma empresa do mercado em plena expansão.

Categorias

Data Science / Analytics

Sobre a Empresa

Mais vagas na Extractta →

A Extractta nasceu com o propósito de transformar tecnologia em resultados reais para empresas de diversos segmentos. Ao longo da nossa trajetória, nos consolidamos como uma consultoria de inovação e tecnologia que une estratégia, pessoas e soluções digitais para apoiar organizações em seus desafios...[Ver Mais]