Senior Data Engineer (remote from Portugal or selected EU countries)
Publicada em
Ver 1.323 vagas de Data Science / Analytics →🌍 Remoto📍 Remoto
PUBLICIDADE
Descrição da Vaga
A FCamara Europe está buscando um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto com uma empresa europeia, líder global em serviços e soluções de operações, risco e sustentabilidade. Este profissional será a referência técnica para a plataforma de dados Databricks do cliente, responsável por projetar e operar pipelines de dados robustos, implementar práticas de DataOps e CI/CD, e estabelecer uma governança de dados sólida para garantir conjuntos de dados seguros, rastreáveis e prontos para IA.
Responsabilidades
- Projetar, construir e otimizar pipelines de dados batch e streaming no Databricks usando PySpark, Spark SQL, Delta Lake e Delta Live Tables.
- Evoluir a arquitetura Lakehouse (camadas bronze, silver e gold) para ingestão e transformação de dados operacionais, comportamentais e HSE de múltiplos clientes e fontes.
- Implementar e manter pipelines de CI/CD para cargas de trabalho de dados usando Databricks Asset Bundles, Git, Azure DevOps ou GitHub Actions.
- Automatizar testes de dados, verificações de qualidade e promoção entre ambientes de desenvolvimento, staging e produção.
- Implementar e gerenciar o Unity Catalog, incluindo catálogos, permissões, linhagem, auditoria e políticas de acesso a dados.
- Definir e aplicar padrões de governança de dados, controles de segurança, mascaramento de dados e isolamento de dados por cliente para garantir conformidade com LGPD e GDPR.
- Monitorar o desempenho dos pipelines, definir SLAs, configurar alertas e liderar revisões de incidentes.
- Provisionar infraestrutura como código usando Terraform e padronizar templates de pipeline e melhores práticas.
- Atuar como referência técnica, revisando código, mentorando engenheiros de nível médio e júnior, e colaborando com equipes de produto, ciência de dados e consultoria.
- Documentar decisões de arquitetura, padrões técnicos e melhores práticas de engenharia de dados.
PUBLICIDADE
Requisitos
- ✓Experiência prática e sólida com Databricks em produção, incluindo PySpark, Spark SQL, Delta Lake e Delta Live Tables / Lakeflow.
- ✓Experiência sólida em projetar e otimizar pipelines batch e streaming, e evoluir arquiteturas Lakehouse (camadas bronze, silver, gold).
- ✓Experiência comprovada na implementação de CI/CD para cargas de trabalho de dados usando Git, Azure DevOps ou GitHub Actions, e Databricks Asset Bundles.
- ✓Experiência prática com DataOps, incluindo testes automatizados, versionamento de pipelines, observabilidade e monitoramento.
- ✓Experiência prática com governança de dados, idealmente usando Unity Catalog (controle de acesso, linhagem e auditoria).
- ✓Experiência com Infraestrutura como Código usando Terraform.
- ✓Proficiência forte em Python, PySpark e SQL avançado.
- ✓Experiência em nuvem, preferencialmente Azure (ADLS, Data Factory, Key Vault, Entra ID).
- ✓Experiência com codificação agentic.
- ✓Inglês fluente (mínimo B2+) para trabalhar com equipes e clientes globais.
- •Databricks Data Engineer Professional certification ou certificações Azure (DP-203 / DP-700).
- •Experiência com plataformas SaaS multi-tenant e isolamento de dados por cliente.
- •Conhecimento de práticas MLOps (MLflow, Feature Store, Model Serving) e construção de pipelines de dados para IA generativa / RAG.
- •Experiência com Microsoft Purview.
- •Experiência com ferramentas de qualidade de dados (Great Expectations, Lakehouse Monitoring, dbt).
- •Experiência com tecnologias de streaming (Kafka, Event Hubs ou Structured Streaming).
- •Conhecimento de domínio em dados de HSE, operações industriais ou gestão de riscos.
- ✓Disponibilidade para visitas ocasionais e pré-planejadas a locais do Cliente ou da FCamara em Portugal ou na Europa Central.
Benefícios
- ✓Long-term project.
Sobre a Empresa
Mais vagas na Grupo FCamara →Somos um ecossistema de tecnologia e inovação que potencializa o futuro de negócios integrando visão estratégica com execução inteligente, lado a lado com nossos clientes, para proporcionar experiências transformadoras.[Ver Mais]
Informações Adicionais
Selecionamos as principais informações da posição. Para conferir o descritivo completo, clique em "acessar"
PUBLICIDADE
Candidatar-se a esta vaga →
Você será redirecionado para o site da empresa
Vagas Relacionadas
Engenheiro(a) de Software Sênior | Java, AWS & Data
Marlabs
Engenheiro de Dados Sênior
Cadastra
🏢
Engenheiro de Dados PL/SR
Grupo SysMap
Cientista de Dados Sênior
Vetta
Engenharia de Dados SR
Sicredi
Gerente de Projetos / Consultor(a) de Governança de Dados – Bancos (Crédito e Risco)
Maxxi